yurteg-1.5b-v3-gguf

YurTeg 1.5B v3 (GGUF)

Модель для автоматического извлечения метаданных из юридических документов на русском языке. Часть проекта ЮрТэг — десктопного AI-помощника для работы с договорами.

Характеристики

• Базовая модель: Qwen 2.5 1.5B Instruct
• Метод обучения: ORPO (Odds Ratio Preference Optimization), 5 эпох
• Датасет: 1086 примеров юридических документов (договоры, акты, соглашения)
• Квантизация: Q4_K_M (940 МБ)
• Инференс: llama.cpp / llama-server
• Точность: ~97% на тестовом наборе

Извлекаемые поля

Использование

# Запуск через llama-server
./llama-server -m yurteg-v3-Q4_K_M.gguf -c 4096 --port 8080

# Запрос
curl http://localhost:8080/v1/chat/completions \
  -d '{"messages":[{"role":"user","content":"Извлеки метаданные: ..."}]}'

Используется GBNF-грамматика для гарантированного JSON-вывода. Грамматика:
https://github.com/DKistenev/yurteg/blob/main/data/contract.gbnf

Параметры инференса
┌─────────────┬──────────┐
│  Параметр   │ Значение │
├─────────────┼──────────┤
│ temperature │ 0.05     │
├─────────────┼──────────┤
│ min_p       │ 0.05     │
├─────────────┼──────────┤
│ num_ctx     │ 4096     │
├─────────────┼──────────┤
│ max_tokens  │ 1024     │
└─────────────┴──────────┘

Обучение

- Framework: Axolotl
- GPU: RunPod (A100 80GB)
- Метод: ORPO — одновременная оптимизация предпочтений без отдельной reference-модели
- Данные: Реальные договоры + синтетические примеры, ручная разметка