npc0 commited on
Commit
4946e67
1 Parent(s): 0f71472

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -6
README.md CHANGED
@@ -15,11 +15,10 @@ ChatGLM3-6B-32k 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-
15
  用 [ChatGLM.CPP](https://github.com/li-plus/chatglm.cpp) 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
16
 
17
  ## Performance
18
- |Model |GGML quantize method| HDD size |1 token\*|
19
- |--------------------------|--------------------|----------|---------|
20
- |chatglm3-32k-ggml-q4_0.bin| q4_0 | ?.?? GB | ???ms |
21
- |chatglm3-32k-ggml-q4_1.bin| q4_1 | ?.?? GB | ???ms |
22
- \* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
23
 
24
  ## Getting Started
25
  1. Install dependency
@@ -29,7 +28,7 @@ ChatGLM3-6B-32k 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-
29
 
30
  2. Download weight
31
  ```sh
32
- wget https://huggingface.co/npc0/chatglm3-6b-fp16/resolve/main/chatglm3-32k-ggml-q4_0.bin
33
  ```
34
 
35
  3. Code
 
15
  用 [ChatGLM.CPP](https://github.com/li-plus/chatglm.cpp) 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
16
 
17
  ## Performance
18
+ |Model |GGML quantize method| HDD size |
19
+ |--------------------------|--------------------|----------|
20
+ |chatglm3-32k-ggml-q4_0.bin| q4_0 | 3.51 GB |
21
+ |chatglm3-32k-ggml-q4_1.bin| q4_1 | ?.?? GB |
 
22
 
23
  ## Getting Started
24
  1. Install dependency
 
28
 
29
  2. Download weight
30
  ```sh
31
+ wget https://huggingface.co/npc0/chatglm3-6b-32k-int4/resolve/main/chatglm3-32k-ggml-q4_0.bin
32
  ```
33
 
34
  3. Code