HelioAI-Helio1-Ray-8B-GGUF

GGUF Files for Helio1-Ray-8B

These are the GGUF files for HelioAI/Helio1-Ray-8B.

[!NOTE]
Note: this model has only been quantized to Q2_K, Q4_K_M, and Q8_0. Other quantizations may become available later.

Downloads

Note from Flexan

I provide GGUFs and quantizations of publicly available models that do not have a GGUF equivalent available yet. This process is not yet automated and I download, convert, quantize, and upload them by hand, usually for models I deem interesting and wish to try out.

If there are some quants missing that you'd like me to add, you may request one in the community tab. If you want to request a public model to be converted, you can also request that in the community tab. If you have questions regarding the model, please refer to the original model repo.

Model Card for Helio1-Ray-8B

<div align="center"> <h1>🌟 Helio1-Ray-8B</h1> <p align="center"> <img src="https://huggingface.co/HelioAI/Helio1-Ray-8B/resolve/main/logo.png" width="200" alt="HelioAI Logo"> </p> <h3>Agentic Reasoning & Code Model</h3> <p><i>8 миллиардов параметров. Агентский подход к решению задач. Программное мышление.</i></p> <br> <p> <img src="https://img.shields.io/badge/Context-64K-blue" alt="context"/> <img src="https://img.shields.io/badge/Parameters-8B-green" alt="params"/> <img src="https://img.shields.io/badge/Approach-Agentic-orange" alt="agentic"/> <img src="https://img.shields.io/badge/Code-Elite-red" alt="code"/> </p> </div>

---

🔥 О модели

Helio1-Ray-8B — это модель с агентским подходом к решению задач. Вместо того чтобы «угадывать» ответ, она пишет программу для его решения.

Спросите её «2+2» — и она напишет калькулятор. Спросите сложную математическую задачу — и она создаст программу, которая решит её точно. Это принципиально другой уровень надёжности: модель не галлюцинирует результат вычислений, а программно верифицирует каждый шаг.

Построена на базе DeepSeek-R1-0528-Qwen3-8B и обучена на 50 000 высококачественных синтетических кодовых примеров, где каждая задача решается через написание работающего кода с пошаговым reasoning.

💡 Агентский подход — в чём разница

Обычная модель:

«Сколько будет 847 × 293?» → «248,171» (может ошибиться)

Helio1-Ray-8B:

«Сколько будет 847 × 293?» → пишет код → print(847 * 293) → 248,171 (точный результат, всегда)

Этот подход масштабируется на любую сложность: от арифметики до алгоритмических задач, от анализа данных до генерации визуализаций.

🧠 Что это даёт на практике

• 🎯 Математика решается программно — не запоминание, а вычисление. Точность близка к 100%
• 💻 Код как инструмент мышления — модель думает кодом, решает кодом, проверяет кодом
• 🔗 Chain-of-thought + Code — пошаговое рассуждение, где каждый шаг подкреплён работающим кодом
• 📏 64K контекст — длинные документы, кодовые базы, многоходовые диалоги
• 🇷🇺 Нативный русский — полноценное понимание и генерация, не машинный перевод
• ⚡ 8B параметров — работает на потребительских GPU, локально через LM Studio

---

📊 Бенчмарки

Код и программное решение задач

Математика (агентское программное решение)

Почему математика выросла: модель не пытается решить задачу «в уме» — она пишет программу, которая перебирает, вычисляет и верифицирует. Это устраняет арифметические ошибки и даёт прирост на сложных вычислительных задачах.

Общие бенчмарки

Общие knowledge-бенчмарки остаются на уровне базовой модели — fine-tuning на кодовых данных не деградировал общие знания.

Кодинг по языкам и форматам

---

🧬 Данные обучения

50 000 высококачественных синтетических кодовых примеров, каждый из которых представляет собой полноценный цикл решения задачи:

1. Понимание задачи — разбор условия, выявление ключевых требований
2. Планирование — выбор подхода, алгоритма, инструментов
3. Реализация — чистый, документированный, работающий код
4. Верификация — проверка решения, тестовые случаи, edge cases

Ключевой принцип: модель обучена решать задачи программно, а не «в уме». Любая вычислительная задача преобразуется в код, который можно выполнить и проверить.

Состав:

• 💻 Программное решение задач — от простой арифметики до олимпиадных задач через код
• 🎨 Визуальный код — SVG, HTML/CSS с нуля, интерактивные элементы, дашборды
• 🔗 Пошаговый reasoning — chain-of-thought, где каждый шаг подкреплён кодом
• 🏗️ Архитектурные решения — проектирование систем, паттерны, trade-offs
• 🐛 Дебаг и рефакторинг — поиск багов, оптимизация, улучшение production кода
• 🇷🇺 Русскоязычный контент — нативные формулировки, профессиональная терминология

Стратегия обучения: лучшие 25 000 примеров были помещены в начало обучения для максимально быстрого усвоения ключевых паттернов программного reasoning.

---

🚀 Быстрый старт

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained(
    "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B",
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    "YOUR_USERNAME/Helio1-Ray-8B",
    dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

# Агентский подход: модель решает задачу через код
messages = [
    {"role": "user", "content": "Найди все простые числа до 1000, сумма цифр которых тоже простое число"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        **inputs,
        max_new_tokens=8192,
        temperature=0.6,
        top_p=0.95,
        do_sample=True,
    )

print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

vLLM

from vllm import LLM, SamplingParams

llm = LLM(
    model="YOUR_USERNAME/Helio1-Ray-8B",
    dtype="bfloat16",
    trust_remote_code=True,
    max_model_len=65536,
)

params = SamplingParams(temperature=0.6, top_p=0.95, max_tokens=8192)

# Модель напишет программу для решения, а не будет гадать
output = llm.generate(
    ["Вычисли определённый интеграл sin(x²) от 0 до π с точностью до 10 знаков"],
    params
)
print(output[0].outputs[0].text)

---

🏗️ Архитектура и обучение

📉 Кривая обучения

Каждый evaluation — новый рекорд. Ноль откатов. Стабильный grad norm ~0.3. Zero OOM на 384GB. Безупречный training run.

---

💪 Применение

---

⚠️ Ограничения

• Модель склонна решать задачи через код — для простых вопросов это может быть избыточно
• Контекст 64K через YaRN — оптимально до ~48K, далее возможна лёгкая деградация
• Knowledge cutoff наследуется от базовой модели
• Для чисто фактологических вопросов без вычислений — на уровне базовой модели

📜 Лицензия

Наследует лицензию DeepSeek-R1-0528-Qwen3-8B.

---

<div align="center"> <h3>⚡ Built by Helios</h3> <p>4× RTX PRO 6000S • 50K synthetic code examples • Agentic approach • 10 hours</p> <p><b><i>«Не угадывай ответ — напиши программу, которая его вычислит.»</i></b></p> </div>