|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- fireinwind/GPT4_Instinwild_belle_cn_school_math_zdmqa |
|
--- |
|
|
|
这个模型是基于baichuan的7B的一个SFT的实例模型. |
|
我们采用了一个大约150K的混合的数据集来对baichuan7B进行SFT微调,希望他能在完成基本对话的基础上,能做一些关于想象力,推理能力,数理能力的增强. |
|
我们还混入了大约1K的ZDM的经过手工筛选的润色撰写的QA内容,希望能增强一些关于商品品质,购物咨询方面的能力. |
|
|
|
经过20个epoch的训练,我们获得了这样一个SFT模型.从测试的结果看,具有了基本的对话和回答问题的能力,在逻辑推理方面好于Vicuna和ChatGLM6B,欢迎大家继续测试. |
|
|
|
百川7B的项目在这里:https://github.com/baichuan-inc/baichuan-7B |
|
微调的框架在这里: https://github.com/hiyouga/LLaMA-Efficient-Tuning |
|
|
|
感谢大家的辛勤工作,我们稍后也会不断努力的继续工作.欢迎大家和我们交流 |
|
|
