Seikaijyu's picture
Update README.md
9ee2383 verified
|
raw
history blame
1.09 kB
metadata
license: mit
language:
  - zh

模型说明

基于RWKV6-v2.1-3B基底模型微调的进行pissa微调的chat模型,此模型开箱即用,无需过多准备

使用ChatGLM4基于优美的中国话语料进行异构,使单轮语料成为多轮语料,并进行了大量清洗后得到了2632条多轮对话数据集后训练的模型

此模型仅微调了Assistant对话,无任何额外数据微调,但是经过测试,语料对其它角色有一定的泛化作用

效果如下:

image/png

image/png

image/png

推荐参数如下:

Temperature=2-3之间
Top_P=0.55-0.65之间
Presence Penalty=0.4-0之间
Frequency Penalty=0.4-1.2之间