README.md

---
language:
- ru
license: apache-2.0
pipeline_tag: text-generation
---

# BulgakovLM 3B

A language model trained on Russian. May be suitable for further tuning. The 100 gigabyte dataset consisted primarily of web pages, books, poems, and prose. The model was trained over 2 epochs.

Uses GPT-J architecture with a context window of 4k tokens.

Trained thanks to a TRC grant on TPU-VM v3-8

# Usage
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("0x7o/BulgakovLM-3B")
model = AutoModelForCausalLM.from_pretrained("0x7o/BulgakovLM-3B")

input_ids = tokenizer("Искусственный интеллект - это", return_tensors='pt').to(model.device)["input_ids"]
output = model.generate(input_ids, max_new_tokens=48, do_sample=True, temperature=0.7)
print(tokenizer.decode(output[0]))
```
Output:
```
Искусственный интеллект - это всего-навсего программа, которая анализирует данные и решает, насколько тот или иной выбор может оказаться оптимальным. Как и во всех остальных сферах человеческой деятельности, в IT есть свои плюсы и минусы. И если в прошлом веке искусственный интеллект был чем
```