Update README.md

README.md

@@ -2,20 +2,18 @@
 license: apache-2.0
 datasets:
 - neph1/bellman-7b-finetune
+- neph1/truthy-dpo-v0.1-swe
 language:
 - sv
 ---
 
 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/653cd3049107029eb004f968/pLcriXAfp3Y9Z0RGwwVUB.png)
 
-Updated 240124: Dataset: 11300 rows. Rank: 32/64. Included a set of "summarize" tasks and longer "essay" style input. The dataset for the 240112 update had about 2000 duplicated rows, sadly.
+Updated 240413: Dataset: 14002 rows. Rank: 64/128. Increased diversity of the instruct dataset. 4k context length training
+A light DPO pass to 'align' the model and make it less prone to saying untrue things. Ref: https://huggingface.co/datasets/neph1/truthy-dpo-v0.1-swe
 
-Updated 240112: Bigger dataset. Validation set. rank/alpha: 16/32. 2k context length. Please note that unquantized version is NOT updated.
-
-Qlora trained for 2 epochs on 11300 rows of q&a + around 100 of python questions and examples from
-neph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually
-gathered examples and some generated using chat-gpt.
-Dataset otherwise generated using gpt-3.5-turbo and Mixtral 8x7b (about on third).
+Qlora trained for ~2 epochs on 14k rows of q&a, python examples and general 'instruct' type questions.
+Dataset generated using gpt-3.5-turbo and Mixtral 8x7b (about on third) + Manual gathering and some by chatgpt and gemini.
 
 The goal is to improve knowledge in Swedish topics, while improving the quality of the language.
 
@@ -26,66 +24,91 @@ As with any bard, what this model says should be taken with a grain of salt. Eve
 
 Configuration:
 
-Rank: 32
-
-Alpha: 64
-
-Dropout: 0.1
-
-Learning rate (at start): 2e-5
-
-Context length: 2048
-
-Training length: ca 2.1 epochs
-
-Prompt format: ```[INST]Hur bakar jag sockerkaka?[/INST]```
-
+Rank: 64
 
-Example (240112 version). Sadly it's not always as good. (gguf q8, temp: 0.7, llama.cpp):
-```
-User: Vem är statsminister i Sverige?
+Alpha: 128
 
-Llama: Statsministern i Sverige heter Ulf Kristersson från Moderata samlingspartiet sedan 2022. Han leder en koalition mellan sin parti, Kristdemokraterna och Liberalerna. Innan honom var Magdalena Andersson statsminister för Socialdemokraternas minoritetsregering.
+Dropout: 0.0
 
-User: Nämn fem vanliga mineraler
+Learning rate (at start): 3e-5
 
-Llama: Några av de vanligaste mineralerna inkluderar feldspat, kvarts, mica, gips och kalkspat. De spelar olika roller i jordskorpan och har varierande egenskaper som ger dem användningsområden inom till exempel byggnadsmaterial och glasindustrin.
+Context length: 4096
 
-User: Hur känner jag igen feldspat?
+Training length: ca 2 epochs
 
-Llama: Feldspaten är en vanlig grupp av mineral med varierande sammansättning, som ofta innehåller aluminium, silikon och syre. De kan ha olika färger, såsom vit eller rödaktig, och det finns flera olika typer av feldspat med specifika egenskaper.
+Important. Use correct prompt format for best results: ```[INST]Hur bakar jag sockerkaka?[/INST]```
 
-User: Vilka egenskaper kan den ha?
+Some (cherry-picked, but not overly so) examples using the latest version:
 
-Llama: Några egenskaper inkluderar hårdhet på Mohs skala från 2 till 6, samt att de vanligtvis är täta och har låg termisk expansionskoefficient. Feldspaten används ofta i byggnadsmaterial och glasindustrin på grund av dessa egenskaper.
+Q8_0, temperature: 0.5
+{{[INPUT]}}
+Kan du berätta hur en router fungerar?
+{{[OUTPUT]}}
+ En router är ett nätverksenhets som använder routingprotokoll för att bestämma var en datapaket skall skickas, baserat på dess destinationadress. Detta gör det möjligt för data att flytta mellan olika nätverk och datorer. Routern fungerar som en 'guide' som ledar data från sin ursprungliga plats till dess mål. När data skickas från en enhet till en annan, så skickas den i form av paket. Routern kontrollerar var paketen ska gå och skickar dem vidare genom rutten.
+{{[INPUT]}}
+Hur vet jag om min router är komprometterad?
+{{[OUTPUT]}}
+ Ett sätt att undersöka om din router är komprometterad är att utföra en portscan eller en skannning av öppna portar på din egen IP-adress. Om du finner öppna portar som bör inte vara öppna, kan det indikera att din router har blivit komprometrerad. Dessutom kan du kontrollera om någon har fått åtkomst till ditt nätverk genom att granska listan över dina aktiva anslutningar. Om du ser några anslutningar som du inte känner till, kan det betyda att din router har blivit komprometrerad. Slutligen kan du även granska loggarna från din router för eventuella ovanliga aktiviteter.
 
-User: Jag vet inte vilket gymnasieprogram jag ska välja
+Q8_0, temperature: 0.5
+{{[INPUT]}}
+Fyll i ett lämpligt ord på den tomma platsen: "Han ____ tills han kom till flygplatsen"
+{{[OUTPUT]}}
+ Han körde tills han kom till flygplatsen.
 
-Llama: Det är helt normalt att det tar tid att bestämma sig för ett gymnasieprogram. Du kan pröva olika ämnen och ��verväga dina intressen, kunskaper och framtida karriärsmål för att hitta det rätta programmet för dig. Det finns många olika typer av gymnasieprogram som erbjuder olika inriktningar, så du bör finna något som passar din personliga utveckling och framtida mål.
+Förslaget är att fylla i verbet 'kör' eller 'drove' som passar bäst i den givna meningen. Verbet 'gick' är inte lämpligt eftersom det vanligtvis används för att beskriva att någon rör sig på fot eller cykel. Verbet 'kommer' är inte lämpligt eftersom det beskriver att någon redan befinner sig på önskat mål. Därför är verbet 'kör' eller 'drove' de mest lämpliga alternativen.
 
-User: Jag har ofta ont i magen. vad kan det bero på?
+Q8_0, temperature: 0.5
+{{[INPUT]}}
+Ge mig tips på vilket gymnasieprogram jag ska välja
+{{[OUTPUT]}}
+ Att bestämma ett gymnasieprogram beror på din personliga intresse, din framtida karriärmål och din akademiska förmåga. Här är några tips på hur du kan välja rätt program:
 
-Llama: Magbesvär eller magsmältningsproblem kan ha flera orsaker, inklusive livsstilsfaktorer, matintoleranser och sjukdomar som inflammatorisk tarmsjukdom (IBS) eller gallblåseinflammering. Om du upplever starka symtom eller svårigheter att hantera det bästa är att besöka ditt läkare för en noggrann undersökning och eventuella behandlingar. Det kan inkluda mediciner, dietära ändringar eller andra terapiåtgärder.
+1. Reflektera över dina intressen och din akademiska framgång. Vad är du bäst i? Vad tycker du om att läsa? Vilken typ av frågor tycker du om att lösa?
+2. Forska kring olika gymnasieprogram. Det finns ofta flera olika program att välja mellan, så ta tid att utforska dem och förstå varje programs inriktning, krav och möjligheter.
+3. Undersök arbetsmarknaden och den professionella utbildningen som passar din karriärmål. Det kan hjälpa dig att förstå hur det specifika gymnasieprogrammet kan hjälpa dig att uppnå din mål.
+4. Tala med lärare, elever och föräldrar för att få insikt i deras erfarenhet från olika gymnasieprogram. De kan dela med sig av sin kunskap och ger dig en bättre idé om vad programmet innebär.
+5. Tänk på ditt liv efter gymnasiet. Vad tycker du om att bohemisera eller gå till högre studier? Vilket program passar bäst för dina planer?
+6. Tänk på dina personliga behov. Vad behöver du för att bli lycklig och framgångsrik? Vilket program passar bäst för dina behov?
+7. Välj programmet som passar bäst för dina intressen, din akademiska förmåga och din framtida karriärmål. Du är ansvarig för dina egna val, så välj det som får dig att känna dig själv!
+8. Kom ihåg att det alltid finns möjligheter att ändra program eller riktning om du inte tycker att det är rättt för dig. Gymnasiet är bara en del av din resa, och det är alltid senare att ändra kurs. Känslan av förvirring är vanligt, men du ska aldrig vara omsorgsfull när det gäller din framtid. Hitta styrkan i din egen kraft och välj det som passar bäst för dig!
+   
+Q3_K_M, temperature: 0.3
+{{[INPUT]}}
+Hej. Jag tänker mycket på romarriket.
+{{[OUTPUT]}}
+ Hej! Det är intressant att du tänker på romarriket. Romarna var en mäktig civilisation med en rik historia, kultur och teknologi. De gjorde stora bidrag till världen och har fortfarande ett stort inflytande idag. Kan jag hjälpa dig med några frågor eller mer information om detta ämne? Romarna hade en mäktig ekonomi, en välorganiserad militär och en komplex statsskick. Deras språk, latin, blev den grundläggande modellen för många europeiska språk. Romarna var också kända för sin konst, arkitektur och filosofi.
+{{[INPUT]}}
+Vem ledde romarriket?
+{{[OUTPUT]}}
+ Under senare delen av sin historia, från 27 till 476 e.Kr., leddes romarriket först av kejsare och sedan av stormästare. De hade en komplex politisk struktur där de delade makten mellan olika grenar och familjer. Det var en mäktig och mångsidig civilisation som dominerade större delen av Medelhavsområdet och stora delar av Europa. Kan jag hjälpa dig med mer information om detta?
+{{[INPUT]}}
+Vem var den siste kejsaren?
+{{[OUTPUT]}}
+ Den siste romerska kejsaren var Romulus Augustus, även känd som Flavius Petronius Maximus. Han tvingades abdikera år 476 e.Kr. efter att han blivit tvungen att lämna över makten till Odoaker, en visigotisk general. Efter detta började västromarrikets undergång, och detta är oftast betraktat som slutet på antiken och början på medeltiden. Kan jag hjälpa dig med mer information eller några specifika frågor om detta ämne?
 
-User: Kan du skriva ett program i python som visar hur en for-loop fungerar?
+***(Korrekt, förutom att det inte var samma person som Flavius Petronius Maximus, som levde tidigare)***
 
-Llama: Visst! Här är ett exempel på en Python-kod som använder en "for"-slinga för att iterera genom en lista och skriva ut varje element.
+{{[INPUT]}}
+Lös ekvationen: 2x + 5 = 10
+{{[OUTPUT]}}
+ För att lösa den givna ekvationen, kan vi följa dessa steg:
 
-my_list = ['apple', 'banana', 'cherry']
-for fruit in my_list:
-    print(fruit)
+1. Separera termerna på x-sidan från de på y-sidan av likheten.
+2. Ta bort konstantter på båda sidor av likheten.
+3. Faktorkänsla på båda sidor av likheten.
+4. Balansera båda sidorna av likheten.
 
-Denna kod skapar en lista med frukter, sedan den använder en for-slinga för att iterera genom varje element i listan och skriva ut det på skärmen. Förutom loopning kan du också lära dig om andra metoder som fungerar bättre för specifika uppgifter, såsom med enumerate() eller zip().
+För den givna ekvationen 2x + 5 = 10, kommer vi fram till:
 
-User: Kan du göra om programmet så att det bara skriver ut de frukter som börjar på "a"?
+2x + 5 = 10
+Subtraherar 5 från båda sidor av likheten ger oss:
 
-Llama: Absolut! Du kan använda en conditional statement inom for-loopen för att kontrollera bokstaven i varje frukt och endast skriva ut dem som börjar med "a". Här är det uppdaterade kod:
+2x = 5
+Dela båda sidor av likheten med 2 ger oss:
 
-my_list = ['apple', 'banana', 'cherry']
-for fruit in my_list:
-    if fruit[0] == 'a':  # kontrollera första bokstaven i frukten
-        print(fruit)
+x = 2,5
 
+Så, solvet för ekvationen 2x + 5 = 10 är x = 2,5. Detta innebär att x-värdet som uppfyller ekvationen är 2,5.
 
-Detta program använder en if-utlåtelse för att kontrollera om det första tecknet i varje frukt är "a". Om den är så, skriver ut frukten med hjälp av print() funktionen. Detta resulterar endast i att de frukterna som börjar på "a" skrivs ut. I detta fall bara 'apple'.
-```
+Jag hoppas att detta var hjälpsamt! Om du har några frågor eller behöver mer hjälp, gör bara en begäran. Jag är alltid glad över att kunna hjälpa till!