ZeroAI-50M-GGUF

🧠 ZeroAI 50M — Causal Decoder Transformer (GGUF)

<p align="center"> <img src="https://img.shields.io/badge/Architecture-LLaMA--Style-blueviolet?style=for-the-badge&logo=pytorch" alt="Architecture"> <img src="https://img.shields.io/badge/Format-GGUF-brightgreen?style=for-the-badge" alt="GGUF"> <img src="https://img.shields.io/badge/Parameters-50M-orange?style=for-the-badge" alt="Parameters"> <img src="https://img.shields.io/badge/Language-Russian-blue?style=for-the-badge" alt="Language"> <img src="https://img.shields.io/badge/License-MIT-green?style=for-the-badge" alt="License"> </p>

ZeroAI-50M — это компактная, высокоэффективная языковая модель (~50 млн параметров) на базе декодерной архитектуры в стиле LLaMA 3 / GPT (RMSNorm, RoPE, SwiGLU, KV-Cache), обученная с нуля на русскоязычном корпусе диалогов и контекста. Данный репозиторий содержит оптимизированные веса в формате GGUF для мгновенного запуска в LM Studio, llama.cpp, Ollama, Jan и других локальных инференс-движках.

---

⚡ Быстрый обзор (Model Summary)

---

📦 Доступные варианты квантования (GGUF Files)

В репозитории представлены квантованные версии под любые задачи и типы железа:

💡 Рекомендация: Для большинства пользователей и LM Studio рекомендуется версия ZeroAI-50M-Q4_K_M.gguf — минимальное потребление RAM при сохранении высокого качества генерации.

---

💻 Инструкции по запуску

1️⃣ Использование в LM Studio

1. Скачайте и установите LM Studio.
2. В строке поиска введите qlypse/ZeroAI-50M-GGUF или просто перетащите скачанный .gguf файл в окно программы.
3. В верхней панели выберите модель ZeroAI-50M-Q4_K_M.gguf.
4. Задайте промпт и общайтесь с моделью локально на своём ПК!

---

2️⃣ Запуск через llama.cpp (CLI)

# Генерация ответа в терминале
llama-cli -m ZeroAI-50M-Q4_K_M.gguf \
  -p "User: Привет! Расскажи о себе.\nAssistant:" \
  -n 128 \
  --temp 0.7 \
  --top-k 40 \
  --top-p 0.9 \
  -t 4

---

3️⃣ Использование в Python (llama-cpp-python)

from llama_cpp import Llama

# Инициализация модели GGUF
llm = Llama(
    model_path="ZeroAI-50M-Q4_K_M.gguf",
    n_ctx=256,
    n_threads=4,
)

# Формат диалога
prompt = "User: Привет! Как дела?\nAssistant:"

# Генерация
output = llm(
    prompt,
    max_tokens=64,
    temperature=0.7,
    top_p=0.9,
    stop=["User:", "\n\n"],
)

print(output["choices"][0]["text"])

---

4️⃣ Использование в Ollama

Создайте файл Modelfile:

FROM ./ZeroAI-50M-Q4_K_M.gguf

TEMPLATE """User: {{ .Prompt }}
Assistant:"""

PARAMETER stop "User:"
PARAMETER stop "Assistant:"
PARAMETER temperature 0.7
PARAMETER top_p 0.9

Запустите модель:

ollama create zeroai-50m -f Modelfile
ollama run zeroai-50m "Привет! Как дела?"

---

💬 Формат промпта (Prompt Template)

Модель обучена отвечать в диалоговом формате:

User: {текст запроса}
Assistant: {ответ модели}

---

📊 Результаты производительности (Benchmark)

📊 Сравнение ZeroAI-50M с моделями 10–60M параметров

Сгенерировано benchmark_small_models.py (окно PPL: 256 токенов, генерация: до 40 ток., устройство: CPU/GPU).

⚠️ TinyStories и Supra обучены только на английском — их PPL-RU приведён для справки. ZeroAI обучен только на русском — PPL-EN тоже справочный.

💬 Примеры генерации

ZeroAI-50M (RU)

RU: User: Привет! Как дела? Расскажи что-нибудь интересное о космосе. Assistant:

Яблоки меня зависит отжелтого опуститься.

EN: Once upon a time, there was a little girl named Lily. She loved to

' ' человеку' — ' Гамп' —- ' Коко' — ' искусство! Задавай- ' человеку' — ' Гамп для' — ' интеллект' — 'Матрицу!

---

🛠 Запуск в Telegram-боте & Auto-Train

Модель ZeroAI поставляется вместе с полным стеком управления:

• Telegram-бот (aiogram 3) с кнопками оценки ответов (👍 / 👎).
• Auto-Train Engine: автономное дообучение на ответах с высокой оценкой пользователей.
• Watchdog 24/7: фоновый мониторинг процесса и утечек памяти.

---

⚖️ Лицензия (License)

Распространяется по лицензии MIT. Свободно для коммерческого и исследовательского использования.

---

<p align="center"><i>ZeroAI — Автономная языковая модель с нуля на PyTorch.</i></p>