Update README.md
Browse files
README.md
CHANGED
|
@@ -10,7 +10,9 @@ base_model: unakar/Unakar1.5B-base
|
|
| 10 |
pipeline_tag: text-generation
|
| 11 |
---
|
| 12 |
此为base model，未经SFT与DPO对齐，不具备指令跟随能力
|
|
|
|
| 13 |
Instruct版本与榜单测评结果9月中旬前后放出。作者正忙着大四开学，等我一会~
|
|
|
|
| 14 |
争取10月前放出完整的教程/技术报告/pretrain数据/全流程logbook
|
| 15 |
|
| 16 |
Pretrain数据主要来自huggingface上一些开源数据，经过合成过滤得到，比如fineweb-edu，dclm, llama3-syne。考虑到phi的textbook is all your need，大部分主题都是wiki和textbook。其余是代码/数学/问答/推理/通用等等。
|
|
|
|
| 10 |
pipeline_tag: text-generation
|
| 11 |
---
|
| 12 |
此为base model，未经SFT与DPO对齐，不具备指令跟随能力
|
| 13 |
+
|
| 14 |
Instruct版本与榜单测评结果9月中旬前后放出。作者正忙着大四开学，等我一会~
|
| 15 |
+
|
| 16 |
争取10月前放出完整的教程/技术报告/pretrain数据/全流程logbook
|
| 17 |
|
| 18 |
Pretrain数据主要来自huggingface上一些开源数据，经过合成过滤得到，比如fineweb-edu，dclm, llama3-syne。考虑到phi的textbook is all your need，大部分主题都是wiki和textbook。其余是代码/数学/问答/推理/通用等等。
|