README / README.md
sarpba's picture
Update README.md
bba29fb verified
|
raw
history blame
4.89 kB
metadata
title: README
emoji: 📚
colorFrom: yellow
colorTo: yellow
sdk: static
pinned: true

The Hungarians Organization

We decided to create an organization to collect the latest (and useable) models for the Hungarian specific finetuned LLMs (Whisper, Bart, LLama, etc). Feel free to join our organization and push your models.

About the models

Hungarian language specific compare test results (on Common Voice 11 dataset):

Original modells WER CER NORMALISED WER NORMALISED CER
openai/whisper-tiny 112.1 51.33 108.79 49.64
openai/whisper-base 95.87 42.84 95.68 41.38
openai/whisper-small 53.65 15.89 49.8 14.63
openai/whisper-medium 32.98 8.69 29.11 7.62
openai/whisper-large 28.61 7.44 24.72 6.47
openai/whisper-large-v2 25.61 6.46 21.4 5.53
openai/whisper-large-v3 20.4 4.47 16.24 3.85
Finetuned modells
Hungarians/whisper-tiny-cv16-hu 30.57 8.52 27.71 7.86
Hungarians/whisper-tiny-cv16-hu-v2 16.99 4.98 15.27 4.49
Hungarians/whisper-tiny-cv16-hu-v3 13.58 4.26 12.52 3.99
Hungarians/whisper-base-cv16-hu 15.55 4.07 13.68 3.67
Hungarians/whisper-base-cv16-hu-v2 12.63 3.55 11.39 3.26
Hungarians/whisper-small-cv16-hu 17.86 4.1 15.27 3.58
Hungarians/whisper-small-cv16-v1.5-hu 9.94 2.41 8.50 2.14
Best finetuned modells
Hungarians/whisper-tiny-cv16-hu-final 12.13 3.91 11.25 3.68
Hungarians/whisper-base-cv16-hu-final 11.62 3.2 10.5 2.93
Hungarians/whisper-small-cv16-v2-hu 9.37 2.32 8.1 2.08
Hungarians/whisper-medium-cv16-hu 6.7 1.6 5.55 1.4

Lower value is better!

For Homeassistant faster-whisper need to use, the int8, fp16, fp32 modells, from subfolders.

Some Hungarian info bellow:

A kész nodellek mindíg itt vannak, az én (sarpba) repómban a félkész, vagy kisérleti stádiumu cuccok vannak.

Hosassistant faster-whisperhez az almappákban lévő int8, fp16, fp32 ct2 quantised (ezt nem tom hogy kéne magyarul írni :)) modelleket tudjátok használni a legegyszerűbben cociweb custom_whisper addonjával.

Közösség

Ha szeretnél csatlakozni a magyar nyelvű társalkodó csoportunkhoz ahol kérdezhetsz, megoszthatod a tapasztalataidat, vagy egy, a magyar LLM szakértőiből álló csoport tagja szeretnél lenni, csatlakozz FB csoportunkhoz: Hungarian-LLM.