Update README.md
Browse files
README.md
CHANGED
@@ -49,7 +49,7 @@ LORA模型,可以在边缘设备上部署,只需要4GB的内存。这样可
|
|
49 |
|
50 |
在测试中,BLOOMZ-LORA表现出强大的性能,生成的对话密切匹配《原神》中"Mona"角色的风格和语气。它从训练数据中的少量例子中学会遵循特定的回答格式,并能很好地泛化到训练数据中没有出现的未见任务。
|
51 |
|
52 |
-
我们在训练和测试阶段都采用bitsandbytes的int8量化选项。大约在
|
53 |
|
54 |
模型运行要求<4GB,已在t5, jetson nano, A100下测试推理。
|
55 |
|
|
|
49 |
|
50 |
在测试中,BLOOMZ-LORA表现出强大的性能,生成的对话密切匹配《原神》中"Mona"角色的风格和语气。它从训练数据中的少量例子中学会遵循特定的回答格式,并能很好地泛化到训练数据中没有出现的未见任务。
|
51 |
|
52 |
+
我们在训练和测试阶段都采用bitsandbytes的int8量化选项。大约在nano达到4-5 token的输出速度(总token长度<200,不讨论transformer模型二次复杂度在长序列上带来的性能消耗)。
|
53 |
|
54 |
模型运行要求<4GB,已在t5, jetson nano, A100下测试推理。
|
55 |
|