基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力
GPT2+BERTokenizer从头训练模型(50W闲聊等语料)
环境: WIN10+Torch1.31+Cuda11.6 transformer4.29
GIT开源地址:https://github.com/StarRing2022/MiLu-GPT/