T-pro-it-1.0-int4-W4A16

T-pro-it-1.0 — int4 (W4A16), калибровка на Пушкине

Модель T-pro-it-1.0 сжата в 4 бита (схема W4A16, compressed-tensors) с калибровкой на классическом русском тексте: при сжатии она «читала» ~782 тыс. знаков А. С. Пушкина.

Размер: 62 ГБ → 18 ГБ. Помещается в одну видеокарту на 32 ГБ.

Исправление прежней версии (27.09.2026)

Здесь раньше лежала сборка, у которой калибровка была заявлена, но не применена. Причина видна в её же recipe.yaml: там стоял QuantizationModifier, а он в llm-compressor 0.12 идёт по DataFreePipeline и калибровочные данные молча игнорирует. Косвенное подтверждение — время сборки: около одной минуты против 591 минуты у настоящей калибровки через GPTQModifier.

Оговорка для честности: тогда стояла другая версия llm-compressor, и как вела себя именно она — не проверено. Но совпадение времени однозначное.

Сейчас выложена сборка с настоящей калибровкой (GPTQModifier, 125 кусков Пушкина, прогон 591 минута).

Перплексия: три сборки

Текст для замера — русская Википедия вне калибровки (203 655 знаков, 36 статей). Окно 256 токенов, 60 окон, ровно 19 124 токена у каждой сборки. Замер через vLLM (prompt_logprobs).

Читается так: сжатие в три с половиной раза стоит 4,5 % перплексии, и калибровка на русской классике возвращает 54 % этой потери.

Замер воспроизводится: прежнюю сборку мерили на двух разных машинах (RTX 5090 и DGX Spark) — 4.3475 и 4.3468, расхождение 0,02 %.

Прежние числа из старой карточки (3.64 / 3.83) с этими не сравнивать: другой текст, другое окно, другой способ замера.

Чего перплексия не говорит

Сотня одинаковых заданий с машинной проверкой, температура 0: обе сборки прошли 100 из 100, кривых числительных 3 против 2 — на сотне это случайность. Честный вывод: эта сотня разницы не нашла, а не «разницы нет» — проверки оказались слишком лёгкими.

То есть по прибору калибровка помогает заметно, а на практических заданиях разница пока не проявилась.

Для чего собиралась

Пересказ новостей по-русски на одной видеокарте: голосовой дайджест TruckerNews.

---

English

T-pro-it-1.0 quantized to int4 (W4A16, compressed-tensors), calibrated on ~782k characters of classic Russian prose by A. S. Pushkin. 62 GB → 18 GB.

Correction (2026-09-27): the build previously published here claimed Pushkin calibration but did not have it — its recipe.yaml used QuantizationModifier, which in llm-compressor 0.12 runs a data-free pipeline and silently ignores calibration data (build time ~1 minute versus 591 minutes for real GPTQModifier calibration). This upload is the real one.

Perplexity, untouched Russian Wikipedia outside the calibration set, 256-token windows, 60 windows, exactly 19,124 tokens each, measured through vLLM prompt_logprobs:

Quantization costs 4.5 % perplexity; calibration on Russian classics recovers 54 % of that loss. Reproducible across machines (4.3475 on RTX 5090 vs 4.3468 on DGX Spark, 0.02 % apart). Do not compare with the old card's 3.64 / 3.83 — different text, window and method.

What perplexity does not tell you: on a hundred identical machine-checked tasks at temperature 0 both builds scored 100/100. The honest conclusion is that this set of tasks found no difference — not that there is none.