nadcy commited on
Commit
1de1088
1 Parent(s): 058a7ff

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -49,7 +49,7 @@ LORA模型,可以在边缘设备上部署,只需要4GB的内存。这样可
49
 
50
  在测试中,BLOOMZ-LORA表现出强大的性能,生成的对话密切匹配《原神》中"Mona"角色的风格和语气。它从训练数据中的少量例子中学会遵循特定的回答格式,并能很好地泛化到训练数据中没有出现的未见任务。
51
 
52
- 我们在训练和测试阶段都采用bitsandbytes的int8量化选项。大约在t5达到4-5 token的输出速度(总token长度<200,不讨论transformer模型二次复杂度在长序列上带来的性能消耗)。
53
 
54
  模型运行要求<4GB,已在t5, jetson nano, A100下测试推理。
55
 
 
49
 
50
  在测试中,BLOOMZ-LORA表现出强大的性能,生成的对话密切匹配《原神》中"Mona"角色的风格和语气。它从训练数据中的少量例子中学会遵循特定的回答格式,并能很好地泛化到训练数据中没有出现的未见任务。
51
 
52
+ 我们在训练和测试阶段都采用bitsandbytes的int8量化选项。大约在nano达到4-5 token的输出速度(总token长度<200,不讨论transformer模型二次复杂度在长序列上带来的性能消耗)。
53
 
54
  模型运行要求<4GB,已在t5, jetson nano, A100下测试推理。
55