Update README.md
Browse files
README.md
CHANGED
@@ -1,7 +1,7 @@
|
|
1 |
# Firefly(流萤): 中文对话式大语言模型
|
2 |
|
3 |
## 项目简介
|
4 |
-
项目地址:[Firefly
|
5 |
![firefly_logo](firefly_logo.png)
|
6 |
|
7 |
**Firefly(流萤)** 是一个开源的中文对话式大语言模型,使用指令微调(Instruction Tuning)在中文数据集上进行调优。同时使用了词表裁剪、ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。
|
@@ -79,6 +79,7 @@ Bloom是个多语言模型,由于需要兼容多语言,所以词表有25w之
|
|
79 |
|
80 |
## 训练细节
|
81 |
|
|
|
82 |
在训练时,对于每条样本,我们将input与target处理成如下格式,然后输出模型中。
|
83 |
```
|
84 |
<s>input</s></s>target</s>
|
@@ -162,7 +163,8 @@ Bloom是个多语言模型,由于需要兼容多语言,所以词表有25w之
|
|
162 |
|
163 |
|
164 |
## 关注我们
|
165 |
-
![gongzhonghao](
|
|
|
166 |
|
167 |
|
168 |
|
|
|
1 |
# Firefly(流萤): 中文对话式大语言模型
|
2 |
|
3 |
## 项目简介
|
4 |
+
项目地址:[Firefly(流萤): 中文对话式大语言模型](https://github.com/yangjianxin1/Firefly), 如果您觉得此模型对您有帮助,请like此模型并在Github项目中star我们。
|
5 |
![firefly_logo](firefly_logo.png)
|
6 |
|
7 |
**Firefly(流萤)** 是一个开源的中文对话式大语言模型,使用指令微调(Instruction Tuning)在中文数据集上进行调优。同时使用了词表裁剪、ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。
|
|
|
79 |
|
80 |
## 训练细节
|
81 |
|
82 |
+
|
83 |
在训练时,对于每条样本,我们将input与target处理成如下格式,然后输出模型中。
|
84 |
```
|
85 |
<s>input</s></s>target</s>
|
|
|
163 |
|
164 |
|
165 |
## 关注我们
|
166 |
+
![gongzhonghao](
|
167 |
+
gongzhonghao.jpeg)
|
168 |
|
169 |
|
170 |
|