Downloads · 30 days
12
4% of all-time downloads
command-r-08-2024-awq-ru-calib
alegchenko/command-r-08-2024-awq-ru-calib
command-r-08-2024-awq-ru-calib is a text generation model from alegchenko. Use it when you need the model to write or continue text.
AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 полученная с помощью https://github.com/casper-hansen/AutoAWQ Для калибровки использовались ограничения на 256 пакетов длиной до 256 ток…
All-time downloads
325
Public
Parameters
34.4B
24.1 GB on disk
Likes
1
Public
Repo makeup
Click a slice to open those files.
.safetensors24.1 GB · 100%
Parameter types
How the weights are stored.
I3230.2B · 88%
Base models
Model card
From the Hugging Face model README
AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 полученная с помощью https://github.com/casper-hansen/AutoAWQ Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов, собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов: https://huggingface.co/datasets/IlyaGusev/saiga_scored https://huggingface.co/datasets/Open-Orca/OpenOrca
Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard, так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B
- Task
- Text Generation
- Type
- cohere
- Languages
- ru, en
- Created
- Sep 5, 2024
- Updated
- Sep 5, 2024