Update README.md
Browse files
README.md
CHANGED
|
@@ -1,9 +1,13 @@
|
|
| 1 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
language:
|
| 3 |
-
- en
|
| 4 |
- zh
|
| 5 |
-
|
| 6 |
---
|
|
|
|
| 7 |
ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是基于LLama-7B模型上继续进行三阶段训练的模型。
|
| 8 |
三阶段如下：
|
| 9 |
1. 在中文通用语料上继续预训练500亿中文token
|
|
@@ -17,7 +21,8 @@ ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是
|
|
| 17 |
为了遵守LLaMA模型许可证，我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加，得到ChatYuan-7B权重。
|
| 18 |
|
| 19 |
1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF)，可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama), 也可以直接使用[llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf)
|
| 20 |
-
2. 合并LLaMA-7B的hf模型和ChatYuan-7B
|
|
|
|
| 21 |
### 合并脚本
|
| 22 |
```shell
|
| 23 |
python3 apply_delta.py --base ~/model_weights/LLaMA-7B-HF --delta ~/model_weights/ChatYuan-7B --target ~/model_weights/ChatYuan-7B-merge
|
|
|
|
| 1 |
---
|
| 2 |
+
license: gpl-3.0
|
| 3 |
+
tags:
|
| 4 |
+
- text2text-generation
|
| 5 |
+
pipeline_tag: text2text-generation
|
| 6 |
language:
|
|
|
|
| 7 |
- zh
|
| 8 |
+
- en
|
| 9 |
---
|
| 10 |
+
|
| 11 |
ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是基于LLama-7B模型上继续进行三阶段训练的模型。
|
| 12 |
三阶段如下：
|
| 13 |
1. 在中文通用语料上继续预训练500亿中文token
|
|
|
|
| 21 |
为了遵守LLaMA模型许可证，我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加，得到ChatYuan-7B权重。
|
| 22 |
|
| 23 |
1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF)，可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama), 也可以直接使用[llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf)
|
| 24 |
+
2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型成ChatYuan-7B-merge
|
| 25 |
+
|
| 26 |
### 合并脚本
|
| 27 |
```shell
|
| 28 |
python3 apply_delta.py --base ~/model_weights/LLaMA-7B-HF --delta ~/model_weights/ChatYuan-7B --target ~/model_weights/ChatYuan-7B-merge
|