kishizaki-sci commited on
Commit
3183158
1 Parent(s): 12c3c7e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -9
README.md CHANGED
@@ -6,10 +6,11 @@ base_model:
6
 
7
  # kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN
8
 
9
- ## モデル情報
10
- [Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)を[AutoAWQ](https://github.com/casper-hansen/AutoAWQ)で4bit 量子化したモデル。量子化の際のキャリブレーションデータに日本語と英語を含むデータを使用。
 
11
 
12
- ## 使い方
13
  ### transformers
14
  ```python
15
  from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
@@ -33,7 +34,8 @@ streamer = TextStreamer(tokenizer)
33
 
34
  output = model.generate(**inputs, streamer=streamer, max_new_tokens=1024)
35
  ```
36
- このコードはA100インスタンスの[Google Colab](https://colab.research.google.com/drive/1NSWV6MMisTlN5ELN42VPMLRH9ahAfNrJ?usp=sharing) でも動かせます。
 
37
 
38
  ### vLLM
39
  ```python
@@ -67,15 +69,18 @@ sampling_params = SamplingParams(
67
  outputs = llm.generate(prompt, sampling_params)
68
  print(outputs[0].outputs[0].text)
69
  ```
70
- H100 (94GB)を1基積んだインスタンスでの実行はこちらの[notebook]()をご覧ください。
 
71
 
72
- ## キャリブレーションデータ
73
- 以下のデータセットから512個のデータ,プロンプトを抽出。1つのデータのトークン数は最大350制限。
 
74
  - [TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)
75
  - [meta-math/MetaMathQA](https://huggingface.co/datasets/meta-math/MetaMathQA)
76
  - [m-a-p/CodeFeedback-Filtered-Instruction](https://huggingface.co/datasets/m-a-p/CodeFeedback-Filtered-Instruction)
77
  - [kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja)
78
- - その他日本語版・英語版のwikipedia記事から作成したオリジナルデータ,有害プロンプト回避のためのオリジナルデータを使用。 
79
 
80
  ## License
81
- [MIT License]を適用する。ただし量子化のベースモデルに適用されている[Llama 3.3 Community License Agreement](https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)を遵守すること。
 
 
6
 
7
  # kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN
8
 
9
+ ## model information
10
+ [Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)を[AutoAWQ](https://github.com/casper-hansen/AutoAWQ)で4bit 量子化したモデル。量子化の際のキャリブレーションデータに日本語と英語を含むデータを使用。
11
+ A model of Llama-3.3-70B-Instruct quantized to 4 bits using AutoAWQ. Calibration data containing Japanese and English was used during the quantization process.
12
 
13
+ ## usage
14
  ### transformers
15
  ```python
16
  from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
 
34
 
35
  output = model.generate(**inputs, streamer=streamer, max_new_tokens=1024)
36
  ```
37
+ このコードはA100インスタンスの[Google Colab](https://colab.research.google.com/drive/1NSWV6MMisTlN5ELN42VPMLRH9ahAfNrJ?usp=sharing) でも動かせます。
38
+ This code can also run on Google Colab with an A100 instance.
39
 
40
  ### vLLM
41
  ```python
 
69
  outputs = llm.generate(prompt, sampling_params)
70
  print(outputs[0].outputs[0].text)
71
  ```
72
+ H100 (94GB)を1基積んだインスタンスでの実行はこちらの[notebook](https://huggingface.co/kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN/blob/main/inference_vLLM.ipynb)をご覧ください。
73
+ Please refer to this notebook for execution on an instance equipped with a single H100 (94GB).
74
 
75
+ ## calibration data
76
+ 以下のデータセットから512個のデータ,プロンプトを抽出。1つのデータのトークン数は最大350制限。
77
+ Extract 512 data points and prompts from the following dataset. The maximum token limit per data point is 350.
78
  - [TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)
79
  - [meta-math/MetaMathQA](https://huggingface.co/datasets/meta-math/MetaMathQA)
80
  - [m-a-p/CodeFeedback-Filtered-Instruction](https://huggingface.co/datasets/m-a-p/CodeFeedback-Filtered-Instruction)
81
  - [kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja)
82
+ - その他日本語版・英語版のwikipedia記事から作成したオリジナルデータ,有害プロンプト回避のためのオリジナルデータを使用。 Original data created from Japanese and English Wikipedia articles, as well as original data for avoiding harmful prompts, is used.
83
 
84
  ## License
85
+ [MIT License](https://opensource.org/license/mit)を適用する。ただし量子化のベースモデルに適用されている[Llama 3.3 Community License Agreement](https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)に従ってください。
86
+ The MIT License is applied. However, obey the Llama 3.3 Community License Agreement applied to the base model of quantization.