rhysjones commited on
Commit
a51da34
·
1 Parent(s): 5a290c0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +28 -2
README.md CHANGED
@@ -8,7 +8,28 @@ widget:
8
  pipeline_tag: text-generation
9
  ---
10
 
11
- BangorAI/ALMA-Cymraeg-13B-0.1-4.0bpw-exl2
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
 
13
  #### Esiampl
14
 
@@ -101,4 +122,9 @@ while True:
101
  print("Cymraeg:")
102
  response = generate_text(prompt, settings, max_new_tokens)
103
  print("="*132)
104
- ```
 
 
 
 
 
 
8
  pipeline_tag: text-generation
9
  ---
10
 
11
+ # ALMA-Cymraeg-13B
12
+ Fersiwn Gymraeg o fodel cyfieithu [ALMA](https://github.com/fe1ixxu/ALMA) a ddisgrifir yn [https://arxiv.org/abs/2309.11674](https://arxiv.org/abs/2309.11674). \
13
+ _This is a Welsh version of the [ALMA](https://github.com/fe1ixxu/ALMA) LLM-based translation model._
14
+
15
+ Mae'r model LLM yn seiliedig ar Lama-2-13B, gyda hyfforddiant parhaus ar ddata Gymreig [OSCAR-2301](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) am 3 Epoch
16
+ ac yna hyfforddiant cywrain pellach ar ddata Cofnod y Cynulliad a ddarparir gan [TechIaith](https://huggingface.co/datasets/techiaith/cofnodycynulliad_en-cy).
17
+
18
+ Mae'r fersiwn yma wedi ei gywasgu i 4.0bpw er mwyn llwytho mewn 10GB o gof GPU wrth ddefnyddio [ExLlamaV2](https://github.com/turboderp/exllamav2).
19
+
20
+ ### Fformat Sgwrs
21
+
22
+ Mae'r hyfforddiant cywrain wedi defnyddio'r fformat canlynol ar gyfer trosi o'r Saesneg i'r Gymraeg (a'r naill forrdd i'r llall).
23
+ ```
24
+ Cyfieithwch y testun Saesneg canlynol i'r Gymraeg.
25
+ ### Saesneg:
26
+ {prompt}
27
+
28
+ ### Cymraeg:
29
+
30
+ ```
31
+
32
+
33
 
34
  #### Esiampl
35
 
 
122
  print("Cymraeg:")
123
  response = generate_text(prompt, settings, max_new_tokens)
124
  print("="*132)
125
+ ```
126
+
127
+ ## Hawlfraint
128
+
129
+ Mae'r model yn seiliedig ar Llama2 ac felly dan drwydded gan [Meta](https://ai.meta.com/llama/license/). \
130
+ Mae'r data Cofnod y Cynulliad dan drywdded [Llywodraeth Agored](https://www.nationalarchives.gov.uk/doc/open-government-licence-cymraeg/version/3/).