Downloads · 30 days
159
8% of all-time downloads
Rob1234567/qwen3.5-4b-ariadna-grpo-v1
qwen3.5-4b-ariadna-grpo-v1 is a text generation model from Rob1234567. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
GRPO-дообученная модель для объяснения ML-концептов. Основана на qwen3.5-4b-ariadna-sft-v1.
Downloads · 30 days
159
8% of all-time downloads
All-time downloads
1.9K
Public
Parameters
4.2B
73.7 GB on disk
Likes
1
Public
Click a slice to open those files.
.safetensors8.4 GB · 76%
From the Hugging Face model README
GRPO-дообученная модель для объяснения ML-концептов. Основана на qwen3.5-4b-ariadna-sft-v1.
🔗 GGUF (для llama.cpp): qwen3.5-4b-ariadna-grpo-v1-gguf — Q4_K_M-квантизация и сравнительные бенчмарки v1 vs v10.
| Этап | Метод | Данные | Результат |
|---|---|---|---|
| CPT | Полный файнтюн, LR=1e-5 | 85M токенов (124K концептов arXiv) | ariadna-cpt-v1 |
| SFT | LoRA r=64, инструкционный формат | Те же данные, диалоговый формат | ariadna-sft-v1 |
| GRPO v10 | GRPO K=8, 3-уровневый + GRM | 1000 концептов с эталонными определениями | ariadna-grpo-v1 |
| Тест | SFT | GRPO v3 (без GRM) | GRPO v10 (с GRM) |
|---|---|---|---|
| Объяснение (T=0, 10 концептов) | 18% kw | — | 18% kw (= SFT) |
| Классификация (T=0, 20 концептов) | 70% | 60% (-10 п.п.) | — |
| Агентный харнесс (12 запросов) | — | 58% | —* |
*GGUF-версия GRPO v10 требовала отладки совместимости с llama.cpp. Прямой тест через transformers подтверждает полную работоспособность.
Ключевой вывод: GRM (модельная награда) обеспечивает качественный сигнал награды, но не является механизмом защиты памяти. Без GRM — -10 п.п. (ручные правила дают нестабильный сигнал). С GRM — качество SFT сохранено на базовых понятиях, но catastrophic forgetting редких терминов сохраняется (−4 п.п. на хард-тесте GGUF).
Прямое сравнение через llama-server на 100 вопросах (50 базовых + 50 редких из библиотеки статей).
Базовый тест: 50 фундаментальных терминов ML/AI
| Метрика | V1 (SFT) | V10 (GRPO) |
|---|---|---|
| Осмысленных ответов | 40/50 (80%) | 43/50 (86%) |
| Средняя длина ответа | 98 слов | 106 слов |
| Среднее время ответа | 2781 мс | 2584 мс |
Хард-тест: 50 редких/специализированных терминов (из библиотеки arXiv-статей)
| Метрика | V1 (SFT) | V10 (GRPO) |
|---|---|---|
| Осмысленных ответов | 36/50 (72%) | 34/50 (68%) |
| Средняя длина ответа | 74 слов | 73 слов |
| Среднее время ответа | 2712 мс | 2876 мс |
📄 Отчёт: базовый тест (PDF)
📄 Отчёт: хард-тест (PDF)
Ключевой инсайт: GRPO улучшает базовые понятия (+6 п.п.) за счёт структурирования ответов, но вызывает катастрофическое забывание редких терминов (−4 п.п.). Механизм: group-relative advantage в GRPO даёт частотным паттернам систематически более высокие преимущества, вытесняя редкие знания. GRM (модельная награда) обеспечивает качественный сигнал, но не является механизмом памяти и не предотвращает forgetting. Баланс между оптимизацией популярных паттернов и сохранением редких — открытая проблема GRPO-посттренинга. Рекомендация: v10 для оперативных запросов, v1 для глубоких доменных вопросов по редким концептам.
📄 GRPO_v10_Technical_Report.pdf — полный отчёт:
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"Rob1234567/qwen3.5-4b-ariadna-grpo-v1",
torch_dtype="auto",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(
"Rob1234567/qwen3.5-4b-ariadna-grpo-v1",
trust_remote_code=True
)
prompt = "Attention Mechanism — это"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=80, temperature=0.7)
print(tokenizer.decode(outputs[0]))
Квантизация Q4_K_M (2.6 ГБ) доступна здесь: qwen3.5-4b-ariadna-grpo-v1-gguf — с полными результатами сравнительного тестирования v1 (SFT) vs v10 (GRPO).
Скрипты обучения и тесты: github.com/romannekrasovaillm/qwen35-4b-ariadna-grpo