8bit量子化の問題

by yz23 - opened Dec 6, 2023

yz23

LLM-jp org Dec 6, 2023

GPUは24Gの3090で、8bitの量子化モデルを読み込もうとした処失敗してしまいました。当llm-jpは8bit量子化をサポートしてないでしょうか？

yz23 changed discussion status to closed Dec 6, 2023

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment