README.md

---
base_model:
- NTQAI/chatntq-ja-7b-v1.0
- Elizezen/Antler-7B
language:
- ja
tags:
- mistral
- mixtral
- merge
- moe
- not-for-all-audiences
- nsfw
pipeline_tag: text-generation
---

**[4.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-TypeB-2x7B-exl2/tree/4.0bpw)**  
**[6.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-TypeB-2x7B-exl2/tree/6.0bpw)**  
**[8.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-TypeB-2x7B-exl2/tree/8.0bpw)**

これは、[Sdff-Ltba](https://huggingface.co/Sdff-Ltba)さんの[LightChatAssistant-TypeB-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B)モデルをexl2量子化したものです。  
Q4 cacheモードによる、32kのContextSize対応、8.0bpw量子化でVRAM16GBでフルロード可能です。