morizon commited on
Commit
f51891b
1 Parent(s): 0666674

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -7
README.md CHANGED
@@ -11,12 +11,10 @@ adapter_model: morizon/llm-jp-3-13b_mix_30000_1209
11
  inference_framework: transformers
12
  ---
13
 
14
- # モデル名
15
  このモデルは日本語テキスト生成タスク向けに最適化されたLoRAアダプタ付きのモデルです。
16
 
17
- ## 概要
18
-
19
- #Sample Use
20
 
21
  以下は、elyza-tasks-100-TV_0.jsonl回答のためのコードです。
22
 
@@ -43,7 +41,6 @@ HF_TOKEN = "your_token"
43
 
44
  # ベースとなるモデルと学習したLoRAのアダプタ。
45
  model_id = "llm-jp/llm-jp-3-13b"
46
-
47
  adapter_id = "morizon/llm-jp-3-13b_mix_30000_1209"
48
 
49
  # QLoRA config
@@ -67,10 +64,10 @@ tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, toke
67
  # 元のモデルにLoRAのアダプタを統合。
68
  model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
69
 
 
70
  model.eval()
71
 
72
  # データセットの読み込み。
73
- # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
74
  datasets = []
75
  with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
76
  item = ""
@@ -142,7 +139,7 @@ for data in tqdm(datasets):
142
 
143
  import re
144
  jsonl_id = re.sub(".*/", "", adapter_id)
145
- with open(f"./{jsonl_id}-outputs_rev.jsonl", 'w', encoding='utf-8') as f:
146
  for result in results:
147
  json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters
148
  f.write('\n')
 
11
  inference_framework: transformers
12
  ---
13
 
14
+ # llm-jp-3-13b_mix_30000_1209
15
  このモデルは日本語テキスト生成タスク向けに最適化されたLoRAアダプタ付きのモデルです。
16
 
17
+ ## Sample Use
 
 
18
 
19
  以下は、elyza-tasks-100-TV_0.jsonl回答のためのコードです。
20
 
 
41
 
42
  # ベースとなるモデルと学習したLoRAのアダプタ。
43
  model_id = "llm-jp/llm-jp-3-13b"
 
44
  adapter_id = "morizon/llm-jp-3-13b_mix_30000_1209"
45
 
46
  # QLoRA config
 
64
  # 元のモデルにLoRAのアダプタを統合。
65
  model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
66
 
67
+ # モデルを評価モード(推論モード)に切り替える
68
  model.eval()
69
 
70
  # データセットの読み込み。
 
71
  datasets = []
72
  with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
73
  item = ""
 
139
 
140
  import re
141
  jsonl_id = re.sub(".*/", "", adapter_id)
142
+ with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f:
143
  for result in results:
144
  json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters
145
  f.write('\n')