Update README.md
Browse files
README.md
CHANGED
@@ -15,11 +15,10 @@ ChatGLM3-6B-32k 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-
|
|
15 |
用 [ChatGLM.CPP](https://github.com/li-plus/chatglm.cpp) 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
16 |
|
17 |
## Performance
|
18 |
-
|Model |GGML quantize method| HDD size |
|
19 |
-
|
20 |
-
|chatglm3-32k-ggml-q4_0.bin| q4_0 |
|
21 |
-
|chatglm3-32k-ggml-q4_1.bin| q4_1 | ?.?? GB |
|
22 |
-
\* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
|
23 |
|
24 |
## Getting Started
|
25 |
1. Install dependency
|
@@ -29,7 +28,7 @@ ChatGLM3-6B-32k 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-
|
|
29 |
|
30 |
2. Download weight
|
31 |
```sh
|
32 |
-
wget https://huggingface.co/npc0/chatglm3-6b-
|
33 |
```
|
34 |
|
35 |
3. Code
|
|
|
15 |
用 [ChatGLM.CPP](https://github.com/li-plus/chatglm.cpp) 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
16 |
|
17 |
## Performance
|
18 |
+
|Model |GGML quantize method| HDD size |
|
19 |
+
|--------------------------|--------------------|----------|
|
20 |
+
|chatglm3-32k-ggml-q4_0.bin| q4_0 | 3.51 GB |
|
21 |
+
|chatglm3-32k-ggml-q4_1.bin| q4_1 | ?.?? GB |
|
|
|
22 |
|
23 |
## Getting Started
|
24 |
1. Install dependency
|
|
|
28 |
|
29 |
2. Download weight
|
30 |
```sh
|
31 |
+
wget https://huggingface.co/npc0/chatglm3-6b-32k-int4/resolve/main/chatglm3-32k-ggml-q4_0.bin
|
32 |
```
|
33 |
|
34 |
3. Code
|