dwzhu

/

Baichuan2-7B-PoSE-YaRN-16k

like 1

您好，感谢您的关注和提醒！和其他模型一样，Baichuan2-7B-PoSE-YaRN-16k这个模型也是在dwzhu/PoSE-Datasets这个数据集上训练的。不过，类似于在LLaMA2-7B-PoSE-YaRN-16k中遇到的情况，我们发现这个存档点和 pose_modeling_llama.py 有一些不一致，导致并没有达到最优的性能。我们会在近期更新这个存档点 :-)

好的，谢谢。另外，有在中文数据集上做过训练和测试吗，因为我看baichuan2-7B主要还是应用在中文场景中，如果能在中文数据集上做一些尝试那最好了

您好，我们暂时还没有在中文数据集上测试，不过PoSE这个思路应该是对于中文和英文通用的。要应用在中文场景，只需要把训练脚本中的数据集换成中文的预训练语料就可以了~

训练脚本参见我们的github repo：https://github.com/dwzhu-pku/PoSE

好的，谢谢