Downloads · 30 days
28
35% of all-time downloads
calm3_22b_chat_4bit_exl2
kevineen/calm3_22b_chat_4bit_exl2
calm3_22b_chat_4bit_exl2 is a text generation model from kevineen. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat
All-time downloads
80
Public
Repo size
13.3 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors13.3 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- apache-2.0
- Model type
- llama
- Access
- Public
- Created
- Jul 8, 2024
- Updated
- Jul 8, 2024
- SHA
- 3feff622
Model card
From the Hugging Face model README
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat
上記モデルをexllamav2の4.5bitで量子化したものです。
キャリブレーションデータは不使用。 RTX3090にて、量子化＋保存、約３時間ほどで作成できました。
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors
初量子化なので、正しいかは分かりません。
text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、 ChatをModeをinstructにして動作確認しております。
- Task
- Text Generation
- Library
- transformers
- Type
- llama
- License
- apache-2.0
- Languages
- ja, en
- Created
- Jul 8, 2024
- Updated
- Jul 8, 2024