license: apache-2.0
datasets:
- neph1/bellman-7b-finetune
language:
- sv
Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually gathered examples and some generated using chat-gpt. Dataset otherwise generated using gpt-3.5-turbo.
The goal is to improve knowledge in Swedish topics, while improving the quality of the language. The model seems to have a thing for history and will, if free to speak, probably tell you some tidbit about historical people.
The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s. As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.
Configuration:
Rank: 16
Alpha: 16
Dropout: 0.1
Context length: 1024
I may run another 5 epochs on this. But I feel like it's 'aligned' pretty well. (Regular mistral insists Magdalena Andersson is prime minister, still.)
Example (q8, temp: 0.7):
Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska.
Användare: vem är statsminister i sverige 2023?
Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson.
Användare: hur många bor det i sverige?
Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare.
Användare: berätta om några vanliga djurarter i sverige
Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar.
Den svenska naturen erbjuder en rik biologisk diversitet.
Användare: sjung lite som bellman
Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman.
Här är ett exempel på en av hans dikter:
'År 1790 gick jag i parken ut,
Och så såg jag en dam,
Hon satt där på en bänk och slöt
Et styver band om kam.'
Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg.
'Fredman' är verkligen en viktig del i Sveriges kulturella arv.