---
license: mit
language:
- pl
tags:
- llama
- alpaca
- lora
- self-instruct
---

This repo contains a low-rank adapter for LLaMA-7B trained on generated (not translated!) 55125 [instructions](https://huggingface.co/datasets/chrisociepa/raw-self-generated-instructions-pl) in Polish.

The training took almost 16 hours on a single RTX 4090 with the following hyperparameters:

* Epochs: 10 (global steps: 4300)
* batch_size: 128
* micro_batch_size: 8
* learning_rate: 0.0001
* cutoff_len: 2048 (effectively no cut off!)
* lora_r: 8
* lora_alpha: 16
* lora_dropout: 0.05
* lora_target_modules: ['q_proj', 'k_proj', 'v_proj', 'o_proj']
* train_on_inputs: True
* group_by_length: True

This adapter allows the model to speak Polish more accurate than [Alpaca-Lora-7B](https://huggingface.co/tloen/alpaca-lora-7b).

Instructions for running it can be found at https://github.com/tloen/alpaca-lora.

## Examples

* **Instruction:** `Jaki jest najwyższy szczyt w Polsce?`

Alpaca PL: `Najwyższy szczyt w Polsce to Rysy, osiągający wysokość 2499 m n.p.m.`

Alpaca-Lora-7B: `W Polsce najwyższym szczytem jest Snieżnik o wysokości 1655 m n.p.m.`


* **Instruction:** `Przetłumacz na angielski: Kiedy byłem małym chłopcem, lubiłem grać w piłkę nożną. Teraz jestem dorosły i lubie biegać.`

Alpaca PL: `When I was a little boy, I used to play soccer. Now I'm an adult and I like running.`

Alpaca-Lora-7B: `When I was a small boy, I loved playing soccer. Now I am an adult and I love running.`


* **Instruction:** `Przetłumacz zdanie na język polski: We have a powerful tool like LLM but are still looking for equally powerful methods to control it.`

Alpaca PL: `Tłumaczenie zdania na język polski: "Mamy silny narzędzie takie jak LLM, ale jeszcze nie znaleźliśmy równie silnych metod, aby go kontrolować."`

Alpaca-Lora-7B: `When I was a small boy, I loved playing soccer. Now I am an adult and I love running.`


* **Instruction:** `Co można robić w wolnym czasie?`

Alpaca PL: `W wolnym czasie można zrobić wiele rzeczy, takich jak czytać książki, słuchać muzyki, oglądać filmy lub grać w gry planszowe. Można również spędzać czas z rodziną lub przyjaciółmi.`

Alpaca-Lora-7B: `Co można robić w wolnym czasie? W wolnym czasie można rozmawiać z rodziną, czytać książki, czytać gazetę, czytać w internecie, grać w karty, grać w gry komputerowe, spędzać czas z przyjaciółmi, czytać książki, czytać gazetę, czytać w internecie, grać w karty, grać w gry komputerowe, spędzać czas z przy`


* **Instruction:** `Wytłumacz 5 latkowi co to jest fizyka kwantowa`

Alpaca PL: `Fizyka kwantowa to dziedzina nauki, która zajmuje się badaniem zjawisk zachodzących na poziomie kwantowym, czyli na poziomie atomów i cząstek. Jest to dziedzina nauki, która ma ogromny wpływ na wiele dziedzin nauki, takich jak fizyka, chemia, medycyna i inżynieria.`

Alpaca-Lora-7B: `Quantum physics is the study of the behavior of matter and energy at the atomic and subatomic levels. It is based on the principles of quantum mechanics, which describe the behavior of particles and waves. Quantum physics is used to explain phenomena such as superposition, entanglement, and tunneling.`


* **Instruction:** `Na czym polega faktoryzacja liczby?`

Alpaca PL: `Faktoryzacja to proces dzielenia liczby na mniejsze liczby, takie jak 12 = 3 * 4.`

Alpaca-Lora-7B: `Faktoryzacja jest procesem obliczeniowym polegającym na rozdzieleniu liczby na jej mniejsze części.`


* **Instruction:** `Jaki jest wpływ palenia papierosów na zdrowie człowieka?`

Alpaca PL: `Palenie papierosów ma negatywny wpływ na zdrowie człowieka, powodując choroby takie jak raka płuc, choroby serca i cukrzycę typu 2.`

Alpaca-Lora-7B: `Palenie papierosów może mieć negatywny wpływ na zdrowie człowieka. Palenie papierosów powoduje zwiększenie ryzyka wystąpienia chorób układu oddechowego, takich jak raka płuc, choroby układu krążkowego, chorób serca, chorób układu krwionośnego, chorób układu nerwowego i chorób układu pokarmowego. Palenie papierosów powoduje również zwięks`


* **Instruction:** `Jakie jest znaczenie Protistów?`

Alpaca PL: `Protisty to grupa organizmów, które nie należą do zwierząt ani roślin. Są to organizmy jednokomórkowe lub wielokomórkowe, które żyją w różnych środowiskach, w tym w wodzie, na ziemi i w powietrzu.`

Alpaca-Lora-7B: `Protistów znaczenie to "przeciwstawnych".`


* **Instruction:** `Dokończ zdanie: W Szczebrzeszynie chrząszcz brzmi w ____`

Alpaca PL: `W Szczebrzeszynie chrząszcz brzmi w lesie.`

Alpaca-Lora-7B: `W Szczebrzeszynie chrząszcz brzmi w gwizdku.`