dahara1 commited on
Commit
c249758
1 Parent(s): 21ad81c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -1
README.md CHANGED
@@ -121,7 +121,18 @@ Using Colab, Google's free web tool, you can easily verify the performance of AL
121
 
122
  ## その他の版 Other Version
123
 
124
- ### ALMA-7B-Ja-V2-GPTQ-Ja-En
 
 
 
 
 
 
 
 
 
 
 
125
 
126
  GPTQはモデルサイズを小さくする手法(量子化といいます)です。
127
  GPTQ is a technique (called quantization) that reduces model size.  
 
121
 
122
  ## その他の版 Other Version
123
 
124
+ ### llama.cpp
125
+
126
+ [llama.cpp](https://github.com/ggerganov/llama.cpp)の主な目的はMacBook上で4ビット整数量子化を使用して LLaMA モデルを実行する事です。
127
+ The main purpose of [llama.cpp](https://github.com/ggerganov/llama.cpp) is to run the LLaMA model using 4-bit integer quantization on a MacBook.
128
+
129
+ 4ビット量子化に伴い、性能はやや低下しますが、mmngaさんが作成してくれた[webbigdata-ALMA-7B-Ja-V2-gguf](https://huggingface.co/mmnga/webbigdata-ALMA-7B-Ja-V2-gguf)を使うとMacやGPUを搭載していないWindows、Linuxで本モデルを動かす事ができます。
130
+ Although performance is somewhat reduced with 4-bit quantization, [webbigdata-ALMA-7B-Ja-V2-gguf](https://huggingface.co/mmnga/webbigdata-ALMA-7B-Ja-V2-gguf), created by mmnga, can be used to run this model on Mac, Windows and Linux without a GPU.
131
+
132
+ [GPU無版のColabで動かすサンプルはこちら](https://github.com/webbigdata-jp/python_sample/blob/main/ALMA_7B_Ja_V2_gguf_Free_Colab_sample.ipynb)です。
133
+ [Here is Colab(without GPU) sample code](https://github.com/webbigdata-jp/python_sample/blob/main/ALMA_7B_Ja_V2_gguf_Free_Colab_sample.ipynb).
134
+
135
+ ### GPTQ
136
 
137
  GPTQはモデルサイズを小さくする手法(量子化といいます)です。
138
  GPTQ is a technique (called quantization) that reduces model size.