AliceAI-T5-35B-A0.6B-MPS-ExpertInt8

AliceAI-T5-35B-A0.6B MPS ExpertInt8

Смешанная контрольная точка int8/BF16 модели yandex/AliceAI-T5-35B-A0.6B для локального запуска на Mac с Apple Silicon.

Модель не дообучалась и не адаптировалась под отдельную задачу. Изменён только формат хранения экспертных матриц и путь их выполнения на MPS.

Формат

• матрицы w1, v1 и w2 каждого маршрутизируемого эксперта квантизированы симметрично до int8
• для каждой выходной строки хранится отдельный масштаб float32
• остальные параметры сохранены в исходном типе
• контрольная точка состоит из 15 частей Safetensors
• общий объём тензорных данных составляет 35 389 069 312 байт
• для каждого токена вычисляются 8 выбранных экспертов из 512
• исходная ревизия модели: a0d71f58c40d6affe461797b30b35ff47f52a5f2

Квантизация экспертных матриц уменьшает размер исходных весов примерно вдвое. Остальные части модели не квантизированы.

Требования

Запуск проверен на Mac с Apple Silicon и 64 ГБ объединённой памяти. Конфигурации с меньшим объёмом памяти не проверялись.

Рекомендуемое окружение:

• Python 3.12
• PyTorch 2.10.0
• Transformers 5.14.1
• Accelerate 1.14.0
• Safetensors 0.8.0 или новее

Загрузка и запуск

hf download \
  necrasov-ilya/AliceAI-T5-35B-A0.6B-MPS-ExpertInt8 \
  --local-dir AliceAI-T5-35B-A0.6B-MPS-ExpertInt8

cd AliceAI-T5-35B-A0.6B-MPS-ExpertInt8
uv venv --python 3.12 .venv
uv pip install --python .venv/bin/python -r requirements.txt

.venv/bin/python -m alice_extractor.cli \
  --model-dir . \
  --weights-dir . \
  "Кто написал роман Война и мир?"

После загрузки целостность весов можно проверить командой:

shasum -a 256 -c SHA256SUMS

Совместимость

Контрольная точка использует формат alice-extractor-mixed-int8-bf16-v1. Стандартный вызов AutoModelForSeq2SeqLM.from_pretrained() не загружает экспертные матрицы этого формата. Требуется исполняемый путь MPS, который создаёт параметры int8, загружает 15 частей и вычисляет только выбранных маршрутизатором экспертов.

Ограничения

• запуск проверен только на MPS
• контрольная точка предназначена только для вывода
• ответы могут отличаться от исходной версии BF16 из-за квантизации
• качество на прикладных задачах отдельно не оценивалось
• возможности и ограничения исходной AliceAI-T5 сохраняются

Лицензия

Код и материалы AliceAI-T5 принадлежат YANDEX LLC, 2026, и распространяются по Apache License 2.0 вместе с уведомлениями Yandex. Эта производная контрольная точка подготовлена независимо и не связана с Yandex.