| language: ja | |
| tags: | |
| - japanese | |
| - llm | |
| - elyza-tasks | |
| - gemma | |
| - quantized | |
| license: apache-2.0 | |
| datasets: | |
| - elyza/ELYZA-tasks-100 | |
| pipeline_tag: text-generation | |
| model_name: Gemma 2 Quantized for ELYZA-tasks-100-TV | |
| inference: true | |
| widget: | |
| - text: 日本の四季について説明してください。 | |
| - text: 人工知能の発展における倫理的な課題について説明してください。 | |
| base_model: google/gemma-2b-it | |
| # Gemma 2 Quantized for ELYZA-tasks-100-TV | |
| このモデルは、LLM講義2024最終課題のために作成された量子化版Gemma 2モデルです。 | |
| ## モデルの説明 | |
| - ベースモデル: google/gemma-2b-it | |
| - 適用した変更: 4bit量子化による最適化 | |
| - 用途: ELYZA-tasks-100-TVベンチマーク対応 | |
| - メモリ使用量: 約8GB VRAM | |
| - 推論時間: 全タスク1時間以内 | |
| ## 環境要件 | |
| - Python 3.8+ | |
| - NVIDIA GPU (VRAM 24GB以上推奨) | |
| - CUDA 11.8+ | |
| ### 必要なパッケージ | |
| ```bash | |
| pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 | |
| pip install transformers | |
| pip install accelerate | |
| pip install bitsandbytes |