Edit model card

モデル

サンプル

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(
    "ryota39/llm-jp-1b-sft-15k"
    )
pad_token_id = tokenizer.pad_token_id

model = AutoModelForCausalLM.from_pretrained(
    "ryota39/llm-jp-1b-sft-15k",
    device_map="auto",
    )

text = "###Input: 東京の観光名所を教えてください。\n###Output: "
tokenized_input = tokenizer.encode(
    text,
    add_special_tokens=False,
    return_tensors="pt"
    ).to(model.device)

attention_mask = torch.ones_like(tokenized_input)
attention_mask[tokenized_input == pad_token_id] = 0

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        attention_mask=attention_mask,
        max_new_tokens=128,
        do_sample=True,
        top_p=0.95,
        temperature=0.8,
        repetition_penalty=1.0
    )[0]

print(tokenizer.decode(output))

出力例

###Input: 東京の観光名所を教えてください。
###Output: 東京には多くの観光名所がある:
1.皇居
2.江戸東京博物館
3.東京タワー
4.東京スカイツリー
5.芝公園
6.東京タワー、増上寺、増上寺宝物館
7.浜離宮恩賜庭園
8.東京都庁
9.増上寺
10.新宿御苑
11.浅草寺
12.上野公園
13.お台場
14.明治神宮
15.上野動物園
16.東京国立博物館
17.浅草寺、浅草寺仲見

謝辞

本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 運営の方々に深く御礼申し上げます。

  • 【メタデータラボ株式会社】様
  • 【AI声づくり技術研究会】
    • サーバー主:やなぎ(Yanagi)様
  • 【ローカルLLMに向き合う会】
    • サーバー主:saldra(サルドラ)様

メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始

Downloads last month
13
Safetensors
Model size
1.32B params
Tensor type
FP16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train ryota39/llm-jp-1b-sft-15k