rhysjones commited on
Commit
e59171d
·
1 Parent(s): 89123c5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -15,7 +15,7 @@ _This is a Welsh version of the [ALMA](https://github.com/fe1ixxu/ALMA) LLM-base
15
  Mae'r model LLM yn seiliedig ar Lama-2-13B, gyda hyfforddiant parhaus ar ddata Gymreig [OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) am 3 Epoch
16
  ac yna hyfforddiant cywrain pellach ar ddata Cofnod y Cynulliad a ddarparir gan [TechIaith](https://huggingface.co/datasets/techiaith/cofnodycynulliad_en-cy).
17
 
18
- Mae'r fersiwn yma wedi ei gywasgu i 4.0bpw er mwyn llwytho mewn 10GB o gof GPU wrth ddefnyddio [ExLlamaV2](https://github.com/turboderp/exllamav2).
19
 
20
  ### Fformat Sgwrs
21
 
@@ -62,7 +62,7 @@ class ModelClass:
62
  DEBUG = os.environ.get("DEBUG") and True or False
63
 
64
  # Cychwyn model a storfa
65
- def load_model(model_directory, max_seq_len=8192):
66
  """
67
  Yn llwytho model o gyfeiriadur ac yn dychwelyd y generadur a'r tocynnwr
68
  """
 
15
  Mae'r model LLM yn seiliedig ar Lama-2-13B, gyda hyfforddiant parhaus ar ddata Gymreig [OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) am 3 Epoch
16
  ac yna hyfforddiant cywrain pellach ar ddata Cofnod y Cynulliad a ddarparir gan [TechIaith](https://huggingface.co/datasets/techiaith/cofnodycynulliad_en-cy).
17
 
18
+ Mae'r fersiwn yma wedi ei gywasgu i 4.0bpw er mwyn llwytho mewn cof GPU o 10GB gyda testyn hyd at 4096 tocyn gan ddefnyddio [ExLlamaV2](https://github.com/turboderp/exllamav2).
19
 
20
  ### Fformat Sgwrs
21
 
 
62
  DEBUG = os.environ.get("DEBUG") and True or False
63
 
64
  # Cychwyn model a storfa
65
+ def load_model(model_directory, max_seq_len=4096):
66
  """
67
  Yn llwytho model o gyfeiriadur ac yn dychwelyd y generadur a'r tocynnwr
68
  """