Update README.md
Browse files
README.md
CHANGED
@@ -121,7 +121,18 @@ Using Colab, Google's free web tool, you can easily verify the performance of AL
|
|
121 |
|
122 |
## その他の版 Other Version
|
123 |
|
124 |
-
###
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
125 |
|
126 |
GPTQはモデルサイズを小さくする手法(量子化といいます)です。
|
127 |
GPTQ is a technique (called quantization) that reduces model size.
|
|
|
121 |
|
122 |
## その他の版 Other Version
|
123 |
|
124 |
+
### llama.cpp
|
125 |
+
|
126 |
+
[llama.cpp](https://github.com/ggerganov/llama.cpp)の主な目的はMacBook上で4ビット整数量子化を使用して LLaMA モデルを実行する事です。
|
127 |
+
The main purpose of [llama.cpp](https://github.com/ggerganov/llama.cpp) is to run the LLaMA model using 4-bit integer quantization on a MacBook.
|
128 |
+
|
129 |
+
4ビット量子化に伴い、性能はやや低下しますが、mmngaさんが作成してくれた[webbigdata-ALMA-7B-Ja-V2-gguf](https://huggingface.co/mmnga/webbigdata-ALMA-7B-Ja-V2-gguf)を使うとMacやGPUを搭載していないWindows、Linuxで本モデルを動かす事ができます。
|
130 |
+
Although performance is somewhat reduced with 4-bit quantization, [webbigdata-ALMA-7B-Ja-V2-gguf](https://huggingface.co/mmnga/webbigdata-ALMA-7B-Ja-V2-gguf), created by mmnga, can be used to run this model on Mac, Windows and Linux without a GPU.
|
131 |
+
|
132 |
+
[GPU無版のColabで動かすサンプルはこちら](https://github.com/webbigdata-jp/python_sample/blob/main/ALMA_7B_Ja_V2_gguf_Free_Colab_sample.ipynb)です。
|
133 |
+
[Here is Colab(without GPU) sample code](https://github.com/webbigdata-jp/python_sample/blob/main/ALMA_7B_Ja_V2_gguf_Free_Colab_sample.ipynb).
|
134 |
+
|
135 |
+
### GPTQ
|
136 |
|
137 |
GPTQはモデルサイズを小さくする手法(量子化といいます)です。
|
138 |
GPTQ is a technique (called quantization) that reduces model size.
|