|
--- |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
- en |
|
library_name: transformers |
|
tags: |
|
- japanese |
|
datasets: |
|
- izumi-lab/wikipedia-ja-20230720 |
|
base_model: weblab-GENIAC/Tanuki-8x8B-dpo-v1.0 |
|
--- |
|
|
|
# Tanuki-8x8B-dpo-v1.0-AWQ |
|
## 概要 |
|
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMである[weblab-GENIAC/Tanuki-8x8B-dpo-v1.0](https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0)のAWQ 4bit量子化モデルです。 |
|
キャリブレーションセットには[izumi-lab/wikipedia-ja-20230720](https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720)からランダムサンプリングした512件を利用しています。 |
|
|
|
## 情報提供 |
|
この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQを[こちら](https://github.com/team-hatakeyama-phase2/AutoAWQ)で公開しています。 |
|
|
|
また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMを[こちら](https://github.com/team-hatakeyama-phase2/vllm)で公開しています。 |
|
これを以下のようにソースからビルドし推論に利用してください。 |
|
|
|
```bash |
|
git clone https://github.com/team-hatakeyama-phase2/vllm.git |
|
cd vllm |
|
LD_LIBRARY_PATH="" MAX_JOBS=16 pip install -e . |
|
``` |
|
|
|
モデルに関する詳細については[元モデル](https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0)をご確認ください。 |
