BAAI
/

shunxing1234 commited on
Commit
0cc796c
1 Parent(s): e502b8f

Update README_zh.md

Browse files
Files changed (1) hide show
  1. README_zh.md +70 -0
README_zh.md CHANGED
@@ -0,0 +1,70 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: other
3
+ ---
4
+
5
+ ![Aquila_logo](./log.jpeg)
6
+
7
+ # 悟道·天鹰(Aquila)
8
+
9
+ 悟道·天鹰(Aquila) 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。
10
+ - 🌟 **支持开源商用许可**。Aquila系列模型的源代码基于 [Apache 2.0 协议](https://www.apache.org/licenses/LICENSE-2.0),模型权重基于[《智源Aquila系列模型许可协议》](https://huggingface.co/BAAI/Aquila-7B/resolve/main/BAAI%20Aquila%20Model%20License%20Agreement.pdf),使用者在满足许可限制的情况下,可用于商业目的。
11
+ - ✍️ **具备中英文知识**。Aquila系列模型在中英文高质量语料基础上从 0 开始训练,中文语料约占 40%,保证模型在预训练阶段就开始积累原生的中文世界知识,而非翻译而来的知识。
12
+ - 👮‍♀️**符合国内数据合规需求**。Aquila系列模型的中文语料来自智源多年积累的中文数据集,包括来自1万多个站源的中文互联网数据(其中99%以上为国内站源),以及获得国内权威机构支持的高质量中文文献数据、中文书籍数据等。我们仍在持续积累高质量、多样化的数据集,并源源不断加入Aquila基础模型后续训练中。
13
+ - 🎯**持续迭代,持续开源开放**。我们将不断完善训练数据、优化训练方法、提升模型性能,在更优秀的基础模型基座上,培育枝繁叶茂的“模型树”,持续开源开放更新的版本。
14
+
15
+
16
+
17
+ 悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。包括 [FlagAI GitHub仓库](https://github.com/FlagAI-Open/FlagAI/),[FlagAI 知乎账号](https://www.zhihu.com/people/95-22-20-18)、[FlagAI 官方技术交流群](https://github.com/FlagAI-Open/FlagAI/blob/master/wechat-qrcode.jpg)、智源研究院微信公众号、智源社区微信公众号。
18
+
19
+
20
+ | 模型 | 模型类型 | 简介 | 状态 | 训练所用显卡 |
21
+ | :---------------- | :------- | :-- | :-- | :-- |
22
+ | Aquila-7B | 基础模型,70亿参数 | **Aquila 基础模型**在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。 | 已发布 | Nvidia-A100 |
23
+ | Aquila-33B |基础模型,330亿参数 | 同上 | **敬请期待** | Nvidia-A100 |
24
+ | AquilaChat-7B |SFT model,基于 Aquila-7B 进行微调和强化学习 | **AquilaChat 对话模型**支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。 <br><br>例如,调用智源开源的 **[AltDiffusion](https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion-m18) 多语言文图生成模型**,实现了流畅的文图生成能力。配合智源 **InstructFace 多步可控文生图模型**,轻松实现对人脸图像的多步可控编辑。 | 已发布 | Nvidia-A100 |
25
+ | AquilaChat-33B |SFT model,基于 Aquila-33B 进行微调和强化学习 | 同上 | **敬请期待** | Nvidia-A100 |
26
+ | AquilaCode-7B-NV | 基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练,在英伟达芯片完成训练 | AquilaCode-7B 以小数据集、小参数量,实现高性能,是目前支持中英双语的、性能最好的开源代码模型,经过了高质量过滤、使用有合规开源许可的训练代码数据进行训练。<br><br> AquilaCode-7B 分别在英伟达和国产芯片上完成了代码模型的训练。 | github已发布 | Nvidia-A100 |
27
+ | AquilaCode-7B-TS |基础模型,“文本-代码”生成模型,基于 Aquila-7B继续预训练,在天数智芯芯片上完成训练 | 同上 | github已发布 | Tianshu-BI-V100 |
28
+
29
+ 悟道·天鹰Aquila系列模型将持续开源更优版本。详情见:**[变更日志](https://huggingface.co/BAAI/Aquila-7B/blob/main/change_log.log)** 。
30
+
31
+
32
+ ## 快速开始使用 Aquila-7B
33
+
34
+
35
+ ## 使用方式/How to use
36
+
37
+ ### 1. 推理/Inference
38
+
39
+ ```python
40
+ from transformers import AutoTokenizer, AutoModelForCausalLM
41
+ import torch
42
+ from cyg_conversation import covert_prompt_to_input_ids_with_history
43
+
44
+ tokenizer = AutoTokenizer.from_pretrained("BAAI/AquilaChat-7B")
45
+ model = AutoModelForCausalLM.from_pretrained("BAAI/AquilaChat-7B")
46
+ model.eval()
47
+ model.to("cuda:0")
48
+ vocab = tokenizer.vocab
49
+ print(len(vocab))
50
+
51
+ text = "请给出10个要到北京旅游的理由。"
52
+
53
+ tokens = covert_prompt_to_input_ids_with_history(text, history=[], tokenizer=tokenizer, max_token=512)
54
+
55
+ tokens = torch.tensor(tokens)[None,].to("cuda:0")
56
+
57
+
58
+ with torch.no_grad():
59
+ out = model.generate(tokens, do_sample=True, max_length=512, eos_token_id=100007)[0]
60
+
61
+ out = tokenizer.decode(out.cpu().numpy().tolist())
62
+
63
+ print(out)
64
+ ```
65
+
66
+
67
+
68
+ ## 证书/License
69
+
70
+ `Aquila系列开源模型使用 [智源Aquila系列模型许可协议](https://huggingface.co/BAAI/Aquila-7B/resolve/main/BAAI%20Aquila%20Model%20License%20Agreement.pdf)