Update README.md
Browse files
README.md
CHANGED
|
@@ -13,7 +13,7 @@ GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMである[webla
|
|
| 13 |
imatrixの計算には[Wikitext-JA](https://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/)を用いています。
|
| 14 |
|
| 15 |
## 注意
|
| 16 |
-
このGGUFモデルはtokenizer
|
| 17 |
そのため、他の形式の量子化モデルの利用を推奨いたします。
|
| 18 |
- [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
|
| 19 |
- [GPTQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-4bit)
|
|
|
|
| 13 |
imatrixの計算には[Wikitext-JA](https://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/)を用いています。
|
| 14 |
|
| 15 |
## 注意
|
| 16 |
+
このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
|
| 17 |
そのため、他の形式の量子化モデルの利用を推奨いたします。
|
| 18 |
- [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
|
| 19 |
- [GPTQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-4bit)
|