support-ticket-classifiers-minilm

Классификаторы тикетов

Базовый encoder: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2.

Архитектура каждой модели:

MiniLM encoder → masked mean pooling → Dropout(0.2) → Linear(384, N)

Обучены четыре независимые версии:

Данные

Использован encoder_dataset.json:

• 3000 уникальных запросов;
• 60 категорий;
• 50 запросов на категорию;
• 10 независимых смысловых формулировок на категорию;
• пять стилевых вариантов каждой формулировки.

Train/validation/test разделены по смысловым формулировкам в пропорции 80/10/10. Стилевые варианты одной исходной фразы всегда находятся в одном split.

Результаты

В test router допустил 2 ошибки human → auto на 110 human-примерах. Поэтому в MVP автоматическую отправку нужно дополнительно ограничивать confidence threshold, allowlist и risk-правилами.

На Apple M1 Pro один уже загруженный handler выполняет batch-1 inference примерно за 7.8 мс median и 8.7 мс p95. Время запуска CLI и загрузки весов в этот замер не входит.

Запуск

Каскадный прогноз:

.venv/bin/python predict.py \
  "С меня два раза сняли деньги за одну покупку"

Прогноз конкретной головой:

.venv/bin/python predict.py \
  "Где выключить рекламные уведомления?" \
  --task auto

Повторное обучение:

.venv/bin/python train_encoder_heads.py

Загрузка с Hugging Face при старте сервиса

Публичный репозиторий не требует токена:

from hub_runtime import HubTicketClassifier

classifier = HubTicketClassifier(
    repo_id="ZenMan67/support-ticket-classifiers-minilm"
)
result = classifier.predict(
    "С меня два раза сняли деньги за одну покупку"
)

При создании HubTicketClassifier вызывается snapshot_download. Router загружается сразу, а соответствующая category-head — при первом обращении к ней. Если нужны все четыре модели в памяти, передайте preload_all=True.

В каждой папке модели:

• model.safetensors — encoder и линейная голова в FP16;
• config.json — base model, pooling и порядок labels;
• metrics.json — split, история обучения и ошибки test.

FP16 используется только для хранения: текущий loader создаёт модель в FP32 и при загрузке приводит checkpoint к dtype модели. Это уменьшает размер репозитория примерно вдвое без изменения API.

Ограничения

Это baseline для MVP на полностью синтетических данных. Confidence не калиброван, реальные опечатки, новые продуктовые термины и изменение входного потока не представлены полноценно. Перед автозакрытием нужны реальные деидентифицированные тикеты, shadow mode и отдельный safety-набор.