AliceAI-Foundation-80B-A3B-NOESIS-BF16-GGUF

<!-- apex-banner --> <div style="background-color: #f59e0b; color: white; padding: 20px; border-radius: 10px; text-align: center; margin: 20px 0;"> <h2 style="color: white; margin: 0 0 10px 0;">⚡ Each donation funds the next large quant.</h2> <p style="font-size: 16px; margin: 0 0 15px 0;">I host free GGUF or MoE quants as independent research.<br> Local hardware: <b>Mechrevo Kuangshi GM7AG0M</b> — RTX 3060 Laptop 6GB GDDR6, 64GB DDR5, i7-12700H (14C/20T, 4.7GHz), Windows 11, Samsung 990 Pro.<br> Good for imatrix and 0.6–35B-class work in RAM. <b>9B+ and searches need rented H200/Blackwell</b>, typically $100 per quant.</p> <p style="font-size: 20px; margin: 0;"> <a href="https://boosty.to/amaimediacom" style="color: white; text-decoration: underline;">🎉 Boosty🦄</a> | <a href="https://donatex.gg/widgets/donation-goal/89bc59e8-b69c-467a-9aa0-5e1c3f8842d6" style="color: white; text-decoration: underline;">☕ Buy Me a Coffee🦄</a> | <a href="https://www.donationalerts.com/r/djbionicl" style="color: white; text-decoration: underline;">⭐ DonationAlerts🦄</a> </p> <p style="font-size: 14px; margin: 10px 0 0 0; opacity: 0.9;">💚 Thanks to Hugging Face for extra storage.🦄</p> </div>

---

NOESIS / AMAImedia

Released as part of the NOESIS Professional Multilingual Dubbing Automation Platform (framework: Deterministic Hybrid Control Framework for Frozen Neural Operators — DHCF-FNO).

• Founder: Ilia Bolotnikov
• Organization: AMAImedia.com
• X (Twitter): @AMAImediacom
• LinkedIn: Ilia Bolotnikov
• Telegram: @djbionicl
• Release date: 2026-09-18

AMAImedia

• Original repository: yandex/AliceAI-Foundation-80B-A3B-Base

---

AliceAI-Foundation-80B-A3B — BF16 repack + GGUF quantizations

Repack (BF16 safetensors, shards ≤50 GB) and community GGUF quantizations of yandex/AliceAI-Foundation-80B-A3B-Base (model_type: alice_ai, 80B total / 3B active MoE with KDA layers).

Совместимость. alice_ai — гибридная архитектура (Kimi Delta Attention + gated attention + MoE + Attention Residuals). На сентябрь 2026 upstream llama.cpp не имеет графа инференса для alice_ai: все GGUF в этом репозитории собраны и проверены, но запускаются только на AliceAI-aware runtime. Для инференса используйте Transformers 5.16.1 + flash-linear-attention==0.5.0 (как в карточке оригинала) или AliceAI-aware vLLM-образ. Обычный llama-cli для этой архитектуры пока неприменим.

Compatibility. alice_ai is a hybrid architecture (Kimi Delta Attention + gated attention + MoE + Attention Residuals). As of September 2026 upstream llama.cpp has no inference graph for alice_ai: every GGUF here is converted and validated, but needs an AliceAI-aware runtime. Use Transformers 5.16.1 + flash-linear-attention==0.5.0 (upstream card) or an AliceAI-aware vLLM image. Stock llama-cli does not apply to this architecture yet.

О модели / About the model

Файлы / Files

BF16 safetensors (repack)

Исходные 49 шардов Yandex слиты в один стриминговый файл и заново нарезаны на 4 части ≤50 ГБ; корректность подтверждена побайтово — 1307 тензоров, SHA256 каждого тензора, 0 расхождений (см. code/compare_tensors.py).

GGUF (GGUF/)

MTP публикуется в двух форматах: mtp.safetensors — в корне репозитория, GGUF/AliceAI-Foundation-80B-A3B-MTP-F16.gguf — в папке GGUF/.

Как это сделано / How it was made

Весь пайплайн лежит в code/:

1. download.py — снапшот оригинального чекпоинта (49 шардов).
2. split_merge.py — стриминговое слияние в один файл + выделение MTP.
3. compare_tensors.py — сверка заголовков и по-тензорный SHA256 (PASS, 0 потерь).
4. shard4.py — нарезка на 4 валидных safetensors-шарда ≤50 ГБ + индексы.
5. upload_shards.py — публикация BF16.
6. patch_alice_ai.py + alice_ai.cpp + alice-ai-quant-stub.patch — quant-only стаб alice_ai для llama.cpp (регистрирует архитектуру для llama-quantize).
7. convert_alice_foundation.py — собственный HF → GGUF F16 конвертер (маппинг тензоров, SentencePiece-словарь, метаданные; без mmap).
8. quantize_alice.sh — 4 параллельных кванта (Q8_0, Q6_K, Q4_K_M, Q2_K).

Быстрый старт (инференс) / Quick start (inference)

# transformers==5.16.1, accelerate==1.14.0, flash-linear-attention==0.5.0
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "AMAImedia/AliceAI-Foundation-80B-A3B-BF16-GGUF"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype="bfloat16", device_map="auto",
)

Оригинальная документация и бенчмарки — в карточке yandex/AliceAI-Foundation-80B-A3B-Base.

Лицензия и атрибуция / License and attribution

Веса распространяются под Apache-2.0 (как у оригинала). Это community-repack и community-кванты, не официальный релиз Yandex. Инференс-код модели — modeling_alice_ai.py — включён в репозиторий без изменений.