metadata
language: ja
tags:
- japanese
- llm
- elyza-tasks
- gemma
- quantized
license: apache-2.0
datasets:
- elyza/ELYZA-tasks-100
pipeline_tag: text-generation
model_name: Gemma 2 Quantized for ELYZA-tasks-100-TV
inference: true
widget:
- text: 日本の四季について説明してください。
- text: 人工知能の発展における倫理的な課題について説明してください。
base_model: google/gemma-2b-it
Gemma 2 Quantized for ELYZA-tasks-100-TV
このモデルは、LLM講義2024最終課題のために作成された量子化版Gemma 2モデルです。
モデルの説明
- ベースモデル: google/gemma-2b-it
- 適用した変更: 4bit量子化による最適化
- 用途: ELYZA-tasks-100-TVベンチマーク対応
- メモリ使用量: 約8GB VRAM
- 推論時間: 全タスク1時間以内
環境要件
- Python 3.8+
- NVIDIA GPU (VRAM 24GB以上推奨)
- CUDA 11.8+
必要なパッケージ
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers
pip install accelerate
pip install bitsandbytes