4bit
#1
by
brooqs
- opened
8bit olarak eğitilmesinin özel bir nedeni var mı?
Selamlar,
Modelleri ben eğitmedim. Ben sadece quantize ettim yani veri çözünürlüğünü düşürdüm.
Neden 8 bit olmasına gelirsek, model cevap kalitesinde neredeyse hiçbir düşüş olmadan yapabileceğin maksimum quantizasyon olması. 4 bit'e kadar quantize edilebiliyor evet (ondan sonrası katastrofik bir düşüşe sebebiyet veriyor.) ama model kalitesinden bir miktar taviz vermek gerekiyor.