Llama2-TwAddr-LoRA / README.md
penut85420's picture
Add README, Data, Scripts
6512525
---
license: mit
library_name: peft
base_model: TheBloke/Llama-2-7B-Chat-fp16
---
# Model Card for Model ID
簡易臺灣路名 JSON 格式解析模型,關於詳細的訓練資料來源與訓練方法,請參考以下文章:
1. [LLM Note Day 24 - 語言模型微調 LLM Finetuning](https://ithelp.ithome.com.tw/articles/10336323)
2. [LLM Note Day 25 - PEFT & LoRA 訓練框架](https://ithelp.ithome.com.tw/articles/10336491)
## Model Details
### Model Description
- **Developed by:** Penut Chen
- **Model type:** Llama
- **Language(s) (NLP):** 繁體中文
- **License:** MIT
- **Finetuned from model:** [TheBloke/Llama-2-7B-Chat-fp16](https://huggingface.co/TheBloke/Llama-2-7B-Chat-fp16)
## Usage
- 關於訓練資料,請參考 `data` 資料夾。
- 關於模型微調,請參考[這份程式碼](scripts/step1_finetuning.py)。
- 關於合併權重,請參考[這份程式碼](scripts/step2_merge.py)。
- 關於測試評估,請參考[這份程式碼](scripts/step3_evaluation.py)。
## Training Details
### Training Data
[政府資料開放平台 - 112 全國路名資料](https://data.gov.tw/dataset/35321)
### Framework versions
- PEFT 0.8.2