File size: 2,947 Bytes
0968e7c
 
 
 
104665e
0968e7c
1d9ccfc
 
 
 
 
 
 
0968e7c
 
1d9ccfc
 
 
 
 
 
 
eba059f
1d9ccfc
0968e7c
 
 
 
 
 
 
 
104665e
93b6151
1d9ccfc
 
 
 
 
0968e7c
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
---
language:
- ru
---
# T-lite-it-1.0

**🚨 T-lite is designed for further fine-tuning and is not intended as a ready-to-use conversational assistant. Users are advised to exercise caution and are responsible for any additional training and oversight required to ensure the model's responses meet acceptable ethical and safety standards. The responsibility for incorporating this model into industrial or commercial solutions lies entirely with those who choose to deploy it.**


## Description

T-lite-it-0.1 was trained in bf16. 

Detailed model card’s coming soon…

### 📚 Dataset

Detailed model card’s coming soon…

## 📊 Benchmarks

Detailed model card’s coming soon…


## 👨‍💻 Examples of usage


```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
torch.manual_seed(42)

model_name = "t-tech/T-lite-it-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    torch_dtype="auto",
    device_map="auto"
)

prompt = "Напиши стих про машинное обучение"
messages = [
    {"role": "system", "content": "Ты T-lite, виртуальный ассистент в Т-Технологии. Твоя задача - быть полезным диалоговым ассистентом."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=256
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)
```

Output:
```
В мире данных, где цифры танцуют,  
Машинное обученье — ведущий вальс.  
Алгоритмы учатся, как дети,  
На примерах, как на сказочных страницах.

Они ищут закономерности в потоках,  
Как мудрецы в древних свитках.  
С каждым шагом всё точнее предсказания,  
Вот так, словно волшебство, оживает.

Обучаясь на ошибках, они растут,  
Из простых моделей в сложные формы.  
Каждый новый пример — как новая строка,  
В книге знаний, что не знает конца.

Не бойтесь перемен, ведь это — путь,  
Который ведёт к будущему, светлому и новому.  
Машинное обученье — наш проводник,  
В этом мире, где технологии царят.
```