|
--- |
|
language: |
|
- en |
|
- zh |
|
pipeline_tag: text-generation |
|
tags: |
|
- meta |
|
- llama-3 |
|
- llama3中文基座模型 |
|
license: llama3 |
|
--- |
|
|
|
# Llama3 中文增强预训练基座模型 |
|
|
|
## 项目概述 |
|
|
|
本项目使用 `LLaMA-Factory` 对 `Llama3-8b` 模型进行了中文增强预训练。 |
|
|
|
## Models |
|
|
|
- Chat models |
|
|
|
| Name | Download | |
|
| -------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |
|
| Guru-Llama-3-8B-Chat | • [🤗 Hugging Face](https://huggingface.co/wifibaby4u/Guru-Llama-3-8B-Chat) • [🤖 ModelScope](https://modelscope.cn/models/wifibaby4u/Guru-Llama-3-8B-Chat) | |
|
|
|
- Base models |
|
|
|
| Name | Download | |
|
| ------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |
|
| Guru-Llama-3-8B | • [🤗 Hugging Face](https://huggingface.co/wifibaby4u/Guru-Llama-3-8B) • [🤖 ModelScope](https://modelscope.cn/models/wifibaby4u/Guru-Llama-3-8B) | |
|
|
|
## 评测 |
|
|
|
### CMMLU |
|
|
|
| Name | Average | STEM | Social Sciences | Humanities | Other | |
|
|-------|---------|------|-----------------|------------|-------| |
|
| Five-shot | 49.59 | 42.28 | 51.37 | 51.87 | 51.79 | |
|
| Zero-shot | 40.53 | 36.31 | 41.13 | 40.82 | 43.20 | |
|
|
|
### MMLU |
|
|
|
| Name | Average | STEM | Social Sciences | Humanities | Other | |
|
|-------|---------|------|-----------------|------------|-------| |
|
| Five-shot | 60.88 | 49.77 | 71.62 | 55.22 | 69.24 | |
|
| Zero-shot | 58.97 | 48.30 | 69.62 | 52.75 | 67.81 | |
|
|
|
## 训练数据集 |
|
|
|
| 资源名称 | 描述 | 记录数量 | 文件名 | 文件大小(MB) | 文件占比(%) | |
|
|-----------------------|---------------------------------|----------|----------------------|--------------|------------| |
|
| 新闻联播内容 | 2016-2024年的新闻联播 | 31,637篇 | cctv_news.jsonl | 43 | 0.029 | |
|
| 中华古诗词数据库 | 古诗词数据库 | 390,904篇 | poetry.jsonl | 110 | 0.074 | |
|
| 诗人数据库 | 诗人数据库 | 10,477条 | poet.jsonl | 3.7 | 0.002 | |
|
| 中国古典小说数据库 | 中国古典小说数据库 | 431本 | novel.jsonl | 242 | 0.163 | |
|
| 金庸小说 | 金庸小说 | 15本 | jinyong.jsonl | 25 | 0.017 | |
|
| 中国近现代历史文献选集 | 中国近现代历史文献选集 | 131篇 | bibliography.jsonl | 2.3 | 0.002 | |
|
| 成语数据库 | 成语数据库 | 23,148条 | idiom.jsonl | 2.5 | 0.002 | |
|
| 中国近代史-徐中约 | 中国近代史-徐中约 | 上、下两册 | modern_chinese_history.jsonl | 1.9 | 0.001 | |
|
| 高质量中英文翻译数据 | 中英文高质量翻译对 | 69,206条 | translation.jsonl | 44 | 0.030 | |
|
| 维基百科 | 中文维基百科 (2023年7月20日) | 254,547条 | wikipedia-cn-20230720.jsonl | 488 | 0.329 | |
|
| 作文 | 作文集 | 269,370篇 | composition.jsonl | 517 | 0.349 | |
|
| 散文 | 散文作品集 | 658篇 | prose.jsonl | 2.9 | 0.002 | |
|
|
|
## 使用指南 |
|
|
|
### 环境配置 |
|
|
|
确保您的机器已经安装了以下软件： |
|
|
|
- Python 3.8+ |
|
- PyTorch 1.8+ |
|
|
|
### 安装 |
|
|
|
首先安装所需依赖： |
|
|
|
```bash |
|
pip install modelscope |
|
``` |
|
|
|
### 模型下载 |
|
|
|
使用以下命令加载并运行模型： |
|
|
|
```python |
|
from modelscope import snapshot_download |
|
model_dir = snapshot_download('wifibaby4u/Guru-Llama-3-8B') |
|
``` |
|
|
|
## 贡献 |
|
|
|
我们欢迎社区开发者的贡献！如果您有兴趣参与本项目的开发或有任何建议，欢迎通过 Issue 或 Pull Request 的方式与我们联系。 |
