Edit model card

モデル

サンプル

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(
    "ryota39/Phi-3-mini-4k-instruct-dpo",
    trust_remote_code=True,
    )

model = AutoModelForCausalLM.from_pretrained(
    "ryota39/Phi-3-mini-4k-instruct-dpo",
    device_map="auto",
    torch_dtype='auto',
    trust_remote_code=True,
    )

text = "<|user|>\n与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。\n<|end|>\n<|assistant|>\n"
tokenized_input = tokenizer.encode(
    text,
    add_special_tokens=False,
    return_tensors="pt"
    ).to(model.device)

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=500,
        do_sample=True,
        top_p=0.95,
        temperature=0.8,
        repetition_penalty=1.0
    )[0]

print(tokenizer.decode(output))

出力例

<|user|> 与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。
<|end|><|assistant|> 東京には様々な観光地がありますが、代表的なものとして以下のようなものがあります。

1. 浅草寺(あさくさじ) - 歴史ある寺院で、浅草の様々な景観や、人々が集まる場所です。
2. 東京タワー - 日本の象徴的な電波塔であり、東京の景色を眺めるのに最適な場所です。
3. 皇居(こうこく) - 日本の皇族が住んでいる皇居で、日本の歴史を感じられる郊外もあります。
4. 渋谷スクランブル交差点 - 日本のトレンドを象徴するスクランブル交差点で、最新のストリートファッションやアートを見ることができます。
5. 渋谷の百 ár - 若者の雰囲気を感じられるショップ街で、最新のグッズを見つけることができます。

これらは東京を象徴する一部の観光地ですが、他にもたくさんの観光地がありますので、ご興味のある場所をご確認ください。<|end|>
Downloads last month
8
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train eliashasnat/phi-3