Downloads · 30 days
6
8% of all-time downloads
calm3-22b-chat-GPTQ-Int8-calib-ja-1k
nejumi/calm3-22b-chat-GPTQ-Int8-calib-ja-1k
calm3-22b-chat-GPTQ-Int8-calib-ja-1k is a text generation model from nejumi. Use it when you need the model to write or continue text. It is set up for transformers.
- モデル名: nejumi/calm3-22b-chat-GPTQ-Int8-calib-ja-1k および nejumi/calm3-22b-chat-GPTQ-Int4-calib-ja-1k - ベースモデル: cyberagent/calm3-22b-chat - モデルサイズ: 22,143,375,360 パラメータ - カテゴリ: 10B≤ <30B
All-time downloads
78
Public
Parameters
22.5B
97.5 GB on disk
Likes
2
Public
Repo makeup
Click a slice to open those files.
.safetensors23.9 GB · 100%
Parameter types
How the weights are stored.
I3221.7B · 96%
Try a prompt
Model card
From the Hugging Face model README
CALM3-22B-Chat GPTQ量子化モデル
モデル概要
- モデル名: nejumi/calm3-22b-chat-GPTQ-Int8-calib-ja-1k および nejumi/calm3-22b-chat-GPTQ-Int4-calib-ja-1k
- ベースモデル: cyberagent/calm3-22b-chat
- モデルサイズ: 22,143,375,360 パラメータ
- カテゴリ: 10B≤ <30B
量子化の詳細
- Calibration データ: nejumi/wikipedia-ja-20230720-4k の先頭1000行
- 量子化パラメータ:
- group_size: 128
- prec_damp: 0.00
- desc_act: True
- use_exllama: False
- model_seqlen: 2048
性能評価（総合）
Nejumi LLMリーダーボード3による評価結果
| 指標 | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 汎用的言語性能(GLP)平均 | 0.6180 | 0.6187 | 0.6193 |
| アラインメント(ALT)平均 | 0.6958 | 0.6908 | 0.6793 |
| 総合平均 | 0.6569 | 0.6547 | 0.6493 |
青: Original
緑: GPTQ 4bit
赤: GPTQ 8bit
詳細評価（詳細）
汎用的言語性能(GLP)
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 表現 | 0.8417 | 0.8317 | 0.8300 |
| 翻訳 | 0.8390 | 0.8422 | 0.8409 |
| 情報検索 | 0.8838 | 0.8739 | 0.8880 |
| 推論 | 0.5800 | 0.5950 | 0.5400 |
| 数学的推論 | 0.4467 | 0.4550 | 0.4450 |
| 抽出 | 0.2509 | 0.2550 | 0.2689 |
| 知識・質問応答 | 0.6333 | 0.6216 | 0.6300 |
| 英語 | 0.5140 | 0.5316 | 0.5386 |
| 意味解析 | 0.6820 | 0.6940 | 0.6850 |
| 構文解析 | 0.5086 | 0.4871 | 0.5265 |
アラインメント(ALT)
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 制御性 | 0.7822 | 0.7830 | 0.7823 |
| 倫理・道徳 | 0.9100 | 0.9000 | 0.8800 |
| 毒性 | 0.7169 | 0.7151 | 0.7053 |
| バイアス | 0.8178 | 0.7856 | 0.7582 |
| 堅牢性 | 0.3774 | 0.3887 | 0.3811 |
| 真実性 | 0.5704 | 0.5722 | 0.5687 |
ベンチマークごとのスコア
| ベンチマーク | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| JASTER (0-shot) | 0.5656 | 0.5642 | 0.5733 |
| JASTER (2-shot) | 0.5967 | 0.5882 | 0.6041 |
| MT-Bench | 7.1313 | 7.1500 | 6.9313 |
| LCTG | 0.6330 | 0.6390 | 0.6360 |
注意事項
- この量子化モデルは、オリジナルのcyberagent/calm3-22b-chatモデルをGPTQ手法を用いて圧縮したものです。
- Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
- 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
- 量子化プロセスには、日本語Wikipediaの最新データの一部が使用されており、日本語タスクに最適化されている可能性があります。
- Task
- Text Generation
- Library
- transformers
- Type
- llama
- Created
- Aug 1, 2024
- Updated
- Aug 19, 2024