File size: 1,746 Bytes
e0b4b22 a7bbca4 e0b4b22 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
---
license: apache-2.0
---
## 模型介绍
<img src="https://cdn-uploads.huggingface.co/production/uploads/65a22b0601ed2b702d695ead/xpyEylqMw7Flpd0TdkrtR.jpeg
" alt="image-20240729083143125" style="zoom:30%;" />
这个版本是基于llama3.1的405B模型，经过特殊处理的中文sft版。与原始的instruct版类似，模型对中文内容和emoji表情的处理更加亲和，确保问答性能与用户体验的优化。
特点: 优化了对中文和emoji表情的处理能力，不影响原有instruct版模型的能力。实测表明，这个中文sft版在问答性能上超越了市面上所有其他llama3.1的中文微调版。
<img src="https://cdn-uploads.huggingface.co/production/uploads/65a22b0601ed2b702d695ead/wEjDT_h8PjFB4SfkNVB5j.png
" alt="image-20240729083143125" style="zoom:75%;" />
## 训练细节
- Lora rank128, alpha256
## 模型下载
通过Git LFS克隆模型：
```shell
git lfs install
git clone https://huggingface.co/opencsg/CSG-Wukong-Chinese-Llama3.1-405B
```
## Lora参数合并指南
实现lora参数的合并，需要使用以下python代码：
```python
from transformers import AutoModelForCausalLM
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3.1-405B-Instruct")
peft_model_id = "OpenCSG/CSG-Wukong-Chinese-Llama3.1-405B"
model = PeftModel.from_pretrained(base_model, peft_model_id)
model.merge_and_unload()
```
## 推理指南
为了优化模型的加载与运行效率，建议使用bnb的4bit量化方式进行模型的加载与预测。
- 硬件8卡H100
<img src="https://cdn-uploads.huggingface.co/production/uploads/65a22b0601ed2b702d695ead/gc5IbELDAvIPu-ONWGNpa.png
" alt="image-20240729083143125" style="zoom:75%;" /> |