Create README.md

README.md

@@ -0,0 +1,80 @@
+# 使用Solar的左脚踩右脚的方式将1.3B模型提升到2.3B，自己卷自己增加到152层。并且使用了COIG-CQIA来做SFT
+我们训练的Mamba模型专注中文，pretrain使用的基本都是优质中文书籍语料。如果你喜欢我们的模型，帮我们点个小心心吧！
+
+
+How to consume it
+```Python
+import sys
+import torch
+from transformers import LlamaTokenizer, MambaForCausalLM
+
+device = "cuda"
+model_path = sys.argv[1]
+tokenizer = LlamaTokenizer.from_pretrained(model_path)
+model = MambaForCausalLM.from_pretrained(model_path).to(device)
+
+messages = []
+while True:
+    user_message = input("User: ")
+    messages.append(dict(
+        role="user",
+        content=user_message
+    ))
+
+    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)
+
+    out = model.generate(input_ids=input_ids, max_length=1000, temperature=0.7, do_sample=True,
+                         penalty_alpha=0.8, top_k=5,
+                         repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
+
+    decoded = tokenizer.batch_decode(out)
+    messages.append(dict(
+        role="assistant",
+        content=decoded[0].split("<|assistant|>\n")[-1])
+    )
+
+    print("Model:", decoded[0].split("<|assistant|>\n")[-1])
+
+```
+
+以下是一些示例
+```
+<|user|>
+写一篇关于中国经济腾飞的社论,从多个方面来介绍中国经济发展,例如历史、文化、军事、外贸等,要求内容丰富,观点新颖,篇幅尽可能长,分析要详尽</s>
+<|assistant|>
+## 经济腾飞:中国崛起
+
+2019年是中国改革开放45周年。回顾新中国成立以来近30年的发展历程,可以清晰地看出,在邓小平理论的指导下,中国共产党带领全国人民进行了一场伟大而深刻的历史革命。经过艰苦探索和 改革探索,中国终于走上了社会主义道路;通过改革开放,中国逐步实现了由农业国到工业国的转变,实现了从封闭半自给半封建的社会向现代化社会的飞跃,成为世界第二大经济体,并成功加入WTO(世界贸易组织),为人类文明的发展做出了重大贡献。纵观中国历史,中华民族经历了无数次民族解放战争,也经历了许多次政治动荡和社会变革。但每一次社会巨变都伴随着一次又一次的民族复兴浪潮,最终推动中国迈上新的台阶。
+
+### 中国经济的腾飞:始于18世纪70年代的第一次工业革命
+
+16世纪的欧洲正处于文艺复兴时期,英国是资本主义世界的砝码。随着资本主义的萌芽和发展壮大,资产阶级开始登上历史舞台。为了维护自己的利益,英国资产阶级同封建专制君主进行了不懈 的斗争,最终导致了资产阶级革命的爆发。这次革命的导火索就是英国的工业革命。18世纪末至19世纪初,英国发生了大规模的工厂制度改革运动,使生产技术得到了迅速提高,生产力得到显著提升。随后,以蒸汽机为代表的机器制造工艺不断改进,促进了机械化生产的兴起,推动了第二次工业革命。
+
+### 中国经济的起飞:从计划经济转向市场经济
+
+19世纪中期以后,西方列强对中国的侵略加剧,中国逐渐沦为一个半殖民地半封建社会。面对这一严峻形势,中国人民奋发图强,开始了近代史上规模最大的一次反帝反殖斗争——辛亥革命。这场革命推翻了清朝的统治,建立了中华民国,确立了中华人民共和国作为独立自主的国家。1927年至1949年的十年间,中国先后完成了土地制度的改革、城市改革的推进以及农村经济的恢复。1949年 以后,中国共产党领导的人民解放军胜利进军西藏、新疆等地,建立起人民政权。至此,中国初步形成了社会主义经济体系,国家统一了,民族团结了,人民生活改善了,社会风气的改变也加快了步 伐。
+
+### 中国经济的增长
+
+1978年以来,中国继续坚持实行以市场为基础的全民所有制,进一步完善社会主义市场经济体制,大力发展多种所有制经济。截至2018年底,我国已经形成包括国有企业、集体企业、私营企业和外资企业在内的各类所有制经济共6.2万多家,占全国国有经济总量的比重达到61%。这些大型国有企业的建立和发展为中国经济的持续稳定健康发展打下了坚实基础。同时,随着对外开放程度的不断提高和中国综合实力的增强,中国在全球范围内的影响力和竞争力日益增强。
+
+### 中国经济的快速增长
+
+2018年,中国的国内生产总值突破200万亿元人民币,首次超越日本成为世界上最大的经济体,成为世界第三大经济体。“中国”二字已成为国际社会对中国经济和科技发展的赞誉之词,中国也成为 继美国之后世界第二人口大国。与此同时,中国还积极参与世界经济活动,在国际舞台上发挥着越来越重要的作用。2019年,中国正式加入了联合国,成为首批入选的成员国之一。2019年1月,��共中央总书记、国务院总理习近平出席在瑞士日内瓦举行的第13届联合国大会开幕式并发表主旨演讲时指出:“我们相信,只要我们共同努力,就一定能够实现中华民族的伟大复兴。”
+
+### 中国的未来之路:和平与发展的主题
+
+和平与繁荣是人类社会的永恒主题,也是人类社会进步的必然趋势。和平与进步是当今时代的主题。中国将坚定走和平发展道路,始终站在时代前列,为人类造福于人类。和平发展既是时代的需 要,也是人类的选择。和平不仅指国际关系,还包括经济关系和政治关系。和平不仅是国家的追求目标,更是每个公民的责任与义务。和平与发展仍然是时代的主旋律,是各国人民的共识所在。和平与合作是我们的时代主题。我们要用建设有中国特色的社会主义的思想武装全党、全军和全体人民,让我们的奋斗有了强大的精神动力和坚强的意志力量,让我们在前进中不断取得新的成就。
+
+### 中美关系:相互尊重、平等相待
+
+20世纪以来,中美两国之间的双边关系历经曲折起伏,但在冷战结束后的今天,双方的关系仍然十分友好。两国领导人互访频繁,签署了一系列具有重要意义的文件,如《上海公报》《中美建交
+```
+
+```
+<|user|>
+写一封情意绵绵的情书,写的人是一位男士,要求古代文言文风格</s>
+<|assistant|>
+敬启者:小女淑敏,字蕙琼。幼承家学,长受母训。自幼娴熟诗文,尤工书法、绘画、诗词等。年届而立,尚未婚娶;然自思虽非门当户对之人,但亦不必强合也。近日偶见一男子,其貌不扬,举止轻 浮,而谈吐间又颇带几分才情。观其言谈举止,似有非凡之才华,令人叹为观止。遂欲与之结为夫妻,以慰平生梦想。因彼乃一文人,且素未谋面,不知其名姓,更不敢妄作主张。惟念其人品甚高,学识丰富,若与之结为夫妇,必可相得益彰矣!</s>
+
+```