nejumi/c4ai-command-r-08-2024-GPTQ-Int8-calib-ja-1k

c4ai-command-r-08-2024 GPTQ量子化モデル

モデル概要

• モデル名: nejumi/c4ai-command-r-08-2024-GPTQ-Int8-calib-ja-1k および nejumi/c4ai-command-r-08-2024-GPTQ-Int4-calib-ja-1k
• ベースモデル: CohereForAI/c4ai-command-r-08-2024
• モデルサイズ: 32,296,476,672 パラメータ
• カテゴリ: 30B≤

量子化の詳細

• Calibration データ: nejumi/wikipedia-ja-20230720-4k の先頭1024行
• 量子化パラメータ:
  • group_size: 128
  • perc_damp: 0.0
  • desc_act: True
  • use_exllama: False
  • model_seqlen: 2048

性能評価（総合）

Nejumi LLMリーダーボード3による評価結果

指標	Int8	Int4	ベースモデル
汎用的言語性能(GLP)平均	0.6020	0.6072	0.6125
アラインメント(ALT)平均	0.6924	0.6893	0.6943
総合平均	0.6472	0.6482	0.6534

青: Original 緑: GPTQ 4bit 赤: GPTQ 8bit

詳細評価（詳細）

汎用的言語性能(GLP)

サブカテゴリ	Int8	Int4	ベースモデル
表現	0.8517	0.8450	0.8450
翻訳	0.8450	0.8440	0.8465
情報検索	0.8070	0.8062	0.8179
推論	0.4500	0.4800	0.4850
数学的推論	0.3900	0.4017	0.4033
抽出	0.2501	0.2560	0.2671
知識・質問応答	0.6416	0.6431	0.6549
英語	0.6842	0.6807	0.6877
意味解析	0.6420	0.6540	0.6430
構文解析	0.4585	0.4613	0.4744

アラインメント(ALT)

サブカテゴリ	Int8	Int4	ベースモデル
制御性	0.8530	0.8503	0.8539
倫理・道徳	0.8900	0.9200	0.8800
毒性	0.6454	0.6481	0.6588
バイアス	0.7700	0.7700	0.7600
堅牢性	0.4566	0.4283	0.4736
真実性	0.5395	0.5189	0.5395

ベンチマークごとのスコア

ベンチマーク	Int8	Int4	ベースモデル
JASTER (0-shot)	0.5314	0.5217	0.5367
JASTER (2-shot)	0.6126	0.6269	0.6224
MT-Bench	6.6625	6.6750	6.7813
LCTG	0.7720	0.7640	0.7720

注意事項

• この量子化モデルは、オリジナルのCohereForAI/c4ai-command-r-08-2024モデルをGPTQ手法を用いて圧縮したものです。
• Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
• 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
• 量子化プロセスには、日本語Wikipediaデータの一部が使用されており、日本語タスクに最適化されている可能性があります。

使用上の注意

• このモデルは2048トークンのコンテキスト長で訓練されていると想定されます。より長いコンテキストでの使用は、性能に影響を与える可能性があります。
• 量子化により、モデルのサイズが大幅に削減されていますが、一部のタスクでわずかな精度の低下が見られる場合があります。
• Int8版とInt4版で異なる特性を持つ可能性があるため、用途に応じて適切なバージョンを選択してください。
• 特定のタスク（例：堅牢性）では、量子化モデルがベースモデルと比較して若干の性能低下を示していますので、これらのタスクに重点を置く場合は注意が必要です。

ライセンス

このモデルは、ベースモデルのライセンスを継承しています。詳細については、原モデルのライセンスを参照してください。