Update README.md
Browse files
README.md
CHANGED
@@ -15,7 +15,7 @@ _This is a Welsh version of the [ALMA](https://github.com/fe1ixxu/ALMA) LLM-base
|
|
15 |
Mae'r model LLM yn seiliedig ar Lama-2-13B, gyda hyfforddiant parhaus ar ddata Gymreig [OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) am 3 Epoch
|
16 |
ac yna hyfforddiant cywrain pellach ar ddata Cofnod y Cynulliad a ddarparir gan [TechIaith](https://huggingface.co/datasets/techiaith/cofnodycynulliad_en-cy).
|
17 |
|
18 |
-
Mae'r fersiwn yma wedi ei gywasgu i 4.0bpw er mwyn llwytho mewn
|
19 |
|
20 |
### Fformat Sgwrs
|
21 |
|
@@ -62,7 +62,7 @@ class ModelClass:
|
|
62 |
DEBUG = os.environ.get("DEBUG") and True or False
|
63 |
|
64 |
# Cychwyn model a storfa
|
65 |
-
def load_model(model_directory, max_seq_len=
|
66 |
"""
|
67 |
Yn llwytho model o gyfeiriadur ac yn dychwelyd y generadur a'r tocynnwr
|
68 |
"""
|
|
|
15 |
Mae'r model LLM yn seiliedig ar Lama-2-13B, gyda hyfforddiant parhaus ar ddata Gymreig [OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) am 3 Epoch
|
16 |
ac yna hyfforddiant cywrain pellach ar ddata Cofnod y Cynulliad a ddarparir gan [TechIaith](https://huggingface.co/datasets/techiaith/cofnodycynulliad_en-cy).
|
17 |
|
18 |
+
Mae'r fersiwn yma wedi ei gywasgu i 4.0bpw er mwyn llwytho mewn cof GPU o 10GB gyda testyn hyd at 4096 tocyn gan ddefnyddio [ExLlamaV2](https://github.com/turboderp/exllamav2).
|
19 |
|
20 |
### Fformat Sgwrs
|
21 |
|
|
|
62 |
DEBUG = os.environ.get("DEBUG") and True or False
|
63 |
|
64 |
# Cychwyn model a storfa
|
65 |
+
def load_model(model_directory, max_seq_len=4096):
|
66 |
"""
|
67 |
Yn llwytho model o gyfeiriadur ac yn dychwelyd y generadur a'r tocynnwr
|
68 |
"""
|