Hugging Face's logo

lksy
/
llama_13b_ru_turbo_alpaca_improved

Text2Text Generation
Russian
Model card Files Community
2
llama_13b_ru_turbo_alpaca_improved
File size: 3,972 Bytes 
b3bfb4c
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
57f3373
 
b3bfb4c
 
 
 
57f3373
b3bfb4c
 
 
 
 
 
 
 
9dc16d3
bad7229
 
 
 
 
 
 
 
 
 
 
 
9dc16d3
b3bfb4c
 
9dc16d3
 
b3bfb4c
 
 
 
 
 
 
 
9dc16d3
b3bfb4c
dd3df56
 
b3bfb4c
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
 
---
datasets:
- IlyaGusev/ru_turbo_alpaca
- yahma/alpaca-cleaned
language:
- ru
pipeline_tag: text2text-generation
inference: false
---


Based on [LLaMA 13B](https://huggingface.co/decapoda-research/llama-13b-hf).

Improved on [llama_13b_ru_turbo_alpaca_lora](https://huggingface.co/IlyaGusev/llama_13b_ru_turbo_alpaca_lora).


Improved parameters:

```
{
  "base_model_name_or_path": "./llama-13b-hf",
  "bias": "none",
  "enable_lora": null,
  "fan_in_fan_out": false,
  "inference_mode": true,
  "lora_alpha": 16,
  "lora_dropout": 0.05,
  "merge_weights": false,
  "modules_to_save": null,
  "peft_type": "LORA",
  "r": 16,
  "target_modules": [
    "q_proj",
    "v_proj"
  ],
  "task_type": "CAUSAL_LM"
}
```
Cutoff length set to 512


Example:

```
### Задание: Сочини длинный и интригующий рассказ, обязательно упоминая следующие объекты.
### Вход: Таня. мяч
### Ответ: 
Таня была обычной девочкой, которая любила играть в футбол с друзьями. Она всегда была настолько энергична и решительна, что никогда не оставалась без победы. Но однажды, когда она играла со своими друзьями, она случайно потеряла свой мяч. Это было так страшно для нее, что она начала рыдать.
Однако, когда Таня вернулась домой, ее мама подхватила и пригласила Таню на прогулку. Мама увидела, как Таня переживает из-за потери своего мяча, и решила помочь ей.
Они отправились на поиски мяча, но ничего не нашли. Таня чувствовала себя очень грустной и думала, что её мяч навсегда утерян. Но тут, когда они уже готовы были вернуться домой, Таня заметила, что там был такой же мяч.
Мама была поражена, и они оба поняли, что это был знак - это был тот самый мяч, который она искала весь день. Он был просто забыт где-то на улице, и его подобрала случайно маленькая девочка.
Таня была счастлива, что нашла свой мяч, и теперь она знала, что даже если что-то пропадает, оно может быть найдено, если только ты ищешь достаточно долго.


### Задание:
Приведен диалог между умным чатботом и человеком. Ответьте как помощник
### Вход: 
Человек: Здравствуйте
Чатбот: Привет! Как я могу помочь?
Человек: Какое население Европы?
Чатбот:  743 миллиона человек живут в Европе, из них более половины проживают на территории России и Украины.
Человек: А в Африке?
### Ответ: 
Чатбот:  1,26 миллиардов людей живут в Африке, что составляет примерно треть населения мира.
```

```
Prompt template:

{
    "description": "A shorter template to experiment with.",
    "prompt_input": "### Задание:\n{instruction}\n\n### Вход:\n{input}\n\n### Ответ:\n",
    "prompt_no_input": "### Задание:\n{instruction}\n\n### Ответ:\n",
    "response_split": "### Ответ:"    
}
```

[WandB report](https://wandb.ai/lksy/huggingface/runs/vam3hdal)

Epochs: 3

Loss: 0.9531