kishizaki-sci
commited on
Commit
•
3183158
1
Parent(s):
12c3c7e
Update README.md
Browse files
README.md
CHANGED
@@ -6,10 +6,11 @@ base_model:
|
|
6 |
|
7 |
# kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN
|
8 |
|
9 |
-
##
|
10 |
-
[Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)を[AutoAWQ](https://github.com/casper-hansen/AutoAWQ)で4bit 量子化したモデル。量子化の際のキャリブレーションデータに日本語と英語を含むデータを使用。
|
|
|
11 |
|
12 |
-
##
|
13 |
### transformers
|
14 |
```python
|
15 |
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
|
@@ -33,7 +34,8 @@ streamer = TextStreamer(tokenizer)
|
|
33 |
|
34 |
output = model.generate(**inputs, streamer=streamer, max_new_tokens=1024)
|
35 |
```
|
36 |
-
このコードはA100インスタンスの[Google Colab](https://colab.research.google.com/drive/1NSWV6MMisTlN5ELN42VPMLRH9ahAfNrJ?usp=sharing) でも動かせます。
|
|
|
37 |
|
38 |
### vLLM
|
39 |
```python
|
@@ -67,15 +69,18 @@ sampling_params = SamplingParams(
|
|
67 |
outputs = llm.generate(prompt, sampling_params)
|
68 |
print(outputs[0].outputs[0].text)
|
69 |
```
|
70 |
-
H100 (94GB)を1基積んだインスタンスでの実行はこちらの[notebook]()をご覧ください。
|
|
|
71 |
|
72 |
-
##
|
73 |
-
以下のデータセットから512個のデータ,プロンプトを抽出。1つのデータのトークン数は最大350制限。
|
|
|
74 |
- [TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)
|
75 |
- [meta-math/MetaMathQA](https://huggingface.co/datasets/meta-math/MetaMathQA)
|
76 |
- [m-a-p/CodeFeedback-Filtered-Instruction](https://huggingface.co/datasets/m-a-p/CodeFeedback-Filtered-Instruction)
|
77 |
- [kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja)
|
78 |
-
- その他日本語版・英語版のwikipedia記事から作成したオリジナルデータ,有害プロンプト回避のためのオリジナルデータを使用。
|
79 |
|
80 |
## License
|
81 |
-
[MIT License]を適用する。ただし量子化のベースモデルに適用されている[Llama 3.3 Community License Agreement](https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)
|
|
|
|
6 |
|
7 |
# kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN
|
8 |
|
9 |
+
## model information
|
10 |
+
[Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)を[AutoAWQ](https://github.com/casper-hansen/AutoAWQ)で4bit 量子化したモデル。量子化の際のキャリブレーションデータに日本語と英語を含むデータを使用。
|
11 |
+
A model of Llama-3.3-70B-Instruct quantized to 4 bits using AutoAWQ. Calibration data containing Japanese and English was used during the quantization process.
|
12 |
|
13 |
+
## usage
|
14 |
### transformers
|
15 |
```python
|
16 |
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
|
|
|
34 |
|
35 |
output = model.generate(**inputs, streamer=streamer, max_new_tokens=1024)
|
36 |
```
|
37 |
+
このコードはA100インスタンスの[Google Colab](https://colab.research.google.com/drive/1NSWV6MMisTlN5ELN42VPMLRH9ahAfNrJ?usp=sharing) でも動かせます。
|
38 |
+
This code can also run on Google Colab with an A100 instance.
|
39 |
|
40 |
### vLLM
|
41 |
```python
|
|
|
69 |
outputs = llm.generate(prompt, sampling_params)
|
70 |
print(outputs[0].outputs[0].text)
|
71 |
```
|
72 |
+
H100 (94GB)を1基積んだインスタンスでの実行はこちらの[notebook](https://huggingface.co/kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN/blob/main/inference_vLLM.ipynb)をご覧ください。
|
73 |
+
Please refer to this notebook for execution on an instance equipped with a single H100 (94GB).
|
74 |
|
75 |
+
## calibration data
|
76 |
+
以下のデータセットから512個のデータ,プロンプトを抽出。1つのデータのトークン数は最大350制限。
|
77 |
+
Extract 512 data points and prompts from the following dataset. The maximum token limit per data point is 350.
|
78 |
- [TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)
|
79 |
- [meta-math/MetaMathQA](https://huggingface.co/datasets/meta-math/MetaMathQA)
|
80 |
- [m-a-p/CodeFeedback-Filtered-Instruction](https://huggingface.co/datasets/m-a-p/CodeFeedback-Filtered-Instruction)
|
81 |
- [kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja)
|
82 |
+
- その他日本語版・英語版のwikipedia記事から作成したオリジナルデータ,有害プロンプト回避のためのオリジナルデータを使用。 Original data created from Japanese and English Wikipedia articles, as well as original data for avoiding harmful prompts, is used.
|
83 |
|
84 |
## License
|
85 |
+
[MIT License](https://opensource.org/license/mit)を適用する。ただし量子化のベースモデルに適用されている[Llama 3.3 Community License Agreement](https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)に従ってください。
|
86 |
+
The MIT License is applied. However, obey the Llama 3.3 Community License Agreement applied to the base model of quantization.
|