llama-8B-ru

DeepSeek-R1-Distill-Llama-8B-Abliterated-RU

Модель представляет собой дообученную версию DeepSeek-R1-Distill-Llama-8B-Abliterated:cite[10] на русскоязычном синтетическом датасете инструкций.

Особенности

1. Базовая архитектура: Основана на Llama-8B с дистилляцией знаний от DeepSeek-R1:cite[3]:cite[6]
2. Дообучение: Адаптация под русский язык через датасет ru-instruct (800k+ примеров)
3. Оптимизация:
   • Удаление артефактов перевода через модель Den4ikAI/nonsense_gibberish_detector:cite[8]
   • Дедупликация методом SimHash
4. Мультидоменность: Поддержка математических расчётов, программирования и QA:cite[8]

Датасет обучения

Комбинация 7 переведённых датасетов:

Формат данных:

{
    "conversations": [
        {"role": "system", "content": "..."},
        {"role": "user", "content": "..."},
        {"role": "assistant", "content": "..."}
    ],
    "source": "название_датасета"
}