piotr-ai/polanka-qwen2-1.5b-v0.1-ckpt_159500

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import os

device = "cuda"
device_map = {
    "lm_head": device,
    "model": device
}

model_name = "piotr-ai/polanka-qwen2-1.5b-v0.1-ckpt_159500"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map=device_map)

prompt = "Lubię zupę pomidorową ponieważ"
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=100,
    temperature=0.6,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

print(tokenizer.decode(generated_ids[0]))

Lubię zupę pomidorową ponieważ jest bardzo zdrowa, zawiera dużo wartości odżywczych, oraz jest bardzo sycąca. Jestem pod wrażeniem jej smaku. Jestem pod wrażeniem, a szczególnie smakuje mi wersja z warzywami. Jestem bardzo zadowolona z tego, że przygotowałam ją sama. Bardzo smakuje mi to danie, jest ono bardzo zdrowe i smaczne.