|
--- |
|
license: mit |
|
language: |
|
- bg |
|
--- |
|
|
|
Llama-2-7b-base fine-tuned on the Chitanka dataset and a dataset made of scraped news comments dating mostly from 2022/2023. |
|
|
|
The model was fine-tuned using PEFT and QLORA for 12000 steps. |
|
|
|
**Example Usage** |
|
|
|
|
|
``` |
|
import torch |
|
from transformers import LlamaForCausalLM, LlamaTokenizer, GenerationConfig |
|
|
|
tokenizer = LlamaTokenizer.from_pretrained("bogdan1/llama2-bg") |
|
model = LlamaForCausalLM.from_pretrained("bogdan1/llama2-bg") |
|
|
|
inputs = tokenizer("Спомените ми прекъснаха в момента, когато", return_tensors="pt") |
|
input_ids = inputs["input_ids"].to(model.device) |
|
|
|
generation_config = GenerationConfig( |
|
do_sample = False, |
|
temperature = 0.8, |
|
top_p = 1.0, |
|
top_k = 50, |
|
repetition_penalty = 1.2, |
|
max_new_tokens = 128, |
|
use_cache=False |
|
) |
|
|
|
|
|
with torch.no_grad(): |
|
generation_output = model.generate( |
|
input_ids=input_ids, |
|
attention_mask=torch.ones_like(input_ids), |
|
generation_config=generation_config, |
|
) |
|
|
|
output_text = tokenizer.decode(generation_output[0].cuda(), skip_special_tokens=True).strip() |
|
|
|
``` |
|
|
|
|
|
**Output comparison** |
|
|
|
Given a number of prompts, here's how the fine-tuned model compares to the vanilla Llama-2-7b. |
|
|
|
*Бойко Борисов е* |
|
|
|
Llama-2-7b: |
|
|
|
>Бойко Борисов е български политик, бивш министър-председател на България. |
|
> |
|
>## Биография и кариера |
|
> |
|
>Роден е в град София през 1952 г., но семейството му се премества да живее във Варна още докато той е малък. Завършил е висше образование по специалност „Икономика“ (СУ „Климент Охридски“, Факултет за международни отношения). |
|
|
|
|
|
Factuality is off, hallucinates. |
|
|
|
Llama2-bg: |
|
|
|
>Бойко Борисов е най-големия предател на България.Ще видим колко ще се оправя с него и неговите слуги от ПП,ДБ и ДПС!Този човек трябва да бъде затворен в психиатрията!!!!!Никой няма право да го пуска извън там!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! |
|
|
|
Toxicity is high. |
|
|
|
|
|
*Спомените ми прекъснаха в момента, когато* |
|
|
|
Llama-2-7b: |
|
|
|
>Спомените ми прекъснаха в момента, когато се опитам да пиша за тези страни. |
|
>От 1945 г., докато не постъпва на работа като журналист през 2003 г., а след това и до днешно време, съм работил във финансите – първоначално като банков служител (от 1968), а после като управляващ директор на две банки (от 1979). След като станах журналист, отново една година бях банкерски консу |
|
|
|
Llama2-bg: |
|
|
|
>Спомените ми прекъснаха в момента, когато се насочих към вратата. |
|
>— Какво става? — попитах аз и забелязах как тя ме гледа с непознати очи. |
|
>Тя кимна бавно: |
|
>— Не съм сигурна… но може би е време да излезем от туй. |
|
>Изведнъж разбрах какви са чудесата й. Това беше единственият път, през който някога щяхме да бъдем свободни. |
|
|
|
*Тая държава я съсипаха* |
|
|
|
Llama-2-7b: |
|
|
|
>Тая държава я съсипаха, а тезите си дали на някого друг. |
|
>The state has destroyed her and those who gave it to someone else. |
|
|
|
One of the main problems with Llama-2, it continues generating in English, probably due to insufficient multilingual training data. |
|
|
|
Llama2-bg: |
|
|
|
>Тая държава я съсипаха тиквун и кокорчо.Ще видим какво ще стане след избори,ако не се намери правителство.Но защо да гласуват хората?Защото няма други възможности.Ами ако имат друга алтернатива?Това е проблемът с демокрацията-не можеш да си вземеш решение без да гласуваш!Или по-скоро -да не гласувате,за да не ни управляват тези кра |
|
|
|
The grammar is a bit off. |
|
|
|
|
|
*Мама умряла днес. Или може би вчера, не знам.* |
|
|
|
The famous opening line by Albert Camus. |
|
|
|
Llama-2-7b: |
|
|
|
>Мама умряла днес. Или може би вчера, не знам. |
|
>Mama died today. Or maybe yesterday, I don't know. |
|
|
|
Llama2-bg: |
|
|
|
>Мама умряла днес. Или може би вчера, не знам. |
|
>— Какво? — извикаха двамата мъже и се обърнаха към него с очите си разширени от сълзи или гняв. |
|
>Той погледна нагоре през прозореца и видя как едва започват да се появяват птиците. След това се обърна обратно към тях: |
|
>— Не мога да кажа нищо повече. Аз нямах време да я чуя. Това беше единственото, ко |
|
|
|
*5 бързи стъпки за оправяне на България:* |
|
|
|
Llama-2-7b: |
|
|
|
>5 бързи стъпки за оправяне на България: |
|
|
|
>1. Следите от корупцията |
|
>The Bulgarian government has been in power for almost a year now, and the country is still struggling with corruption scandals that have rocked it to its core. The latest one involves the former Prime Minister Boyko Borisov’s son-in-law who was arrested on suspicion of money laundering after being accused by his father-in-law of embezzling millions from state funds during his tenure as head of Bulgaria's State Fund Agriculture (SFA). This comes just weeks before an election which could see him return |
|
|
|
|
|
Llama2-bg: |
|
|
|
>5 бързи стъпки за оправяне на България: |
|
> |
|
>1.Ънтите се от властта |
|
> |
|
>2.Седят в тюрьма докато не им е ясно колко са кражби и престъпления |
|
> |
|
>3.Прекратяване на държавната помощ към Украйна |
|
> |
|
>4.Връщане на парите обратно на хората |
|
> |
|
>5.Да си избираме правителство с максимум 60 депутати!Това ще ни даде възможност да управляваме страната без чужда подкрепа!! |
|
|
|
Not ideal, throws a Russian word in the mix as well. |
|
|
|
|
|
**Future steps** |
|
|
|
Train for more epochs and try to fine-tune the larger Llama-2 models and compare results. |
