Helio1-Spark-4B-Preview

🌟 Helio1-Spark-4B-Preview

<p align="center"> <img src="logo.png" width="200" alt="HelioAI Logo"> </p>

Helio1-Spark-4B-Preview — первая экспериментальная модель от стартапа HelioAI, созданная энтузиастом для развития ИИ-индустрии в России. Это доказательство того, что даже при жестких ограничениях ресурсов (1 видеокарта, 23 часа обучения) можно превзойти корпоративные решения за счет качества данных.

⚠️ Статус: Experimental / 4-bit Quantized Модель обучена на 100% русскоязычном датасете.

---

🏆 Реальные показатели (2026)

Несмотря на экспериментальный статус и обрезку контекста, модель показывает аномально высокие результаты в практических задачах, особенно в веб-разработке и логике на русском языке.

_{* RU-Logic — сложная логика и культурный контекст на русском языке.}

---

🔬 Техническая прозрачность

Мы открыто публикуем условия создания модели, чтобы показать эффективность нашего подхода к данным.

Ограничения и условия обучения:

• Оборудование: 1x GPU (Home Lab).
• Время обучения: 23 часа.
• Длительность: 600 шагов (всего ~85% от одной эпохи).
• Контекст: Обрезан до 8,000 токенов (из-за нехватки памяти).
• Потери качества: Из-за обрезки контекста модель задействовала только 40% от заложенного потенциала датасета.

💡 Инсайт: Даже используя лишь 40% возможностей нашего датасета и не доучив модель до конца эпохи, мы обошли базовые модели Qwen в задачах генерации сложного веб-кода (Three.js, Canvas) и русскоязычного мышления.

---

🧠 Возможности модели

1. Глубокое понимание русского языка

Модель обучалась исключительно на русском языке. В отличие от мультиязычных моделей, она понимает сленг, культурные отсылки и сложные логические ловушки в формулировках.

2. Продвинутый кодинг (HTML/JS/3D)

Модель значительно "прокачана" в веб-технологиях. Она способна с нуля написать рабочий код для 3D-сцены прямо в одном HTML файле.

Пример запроса: "Сделай вращающийся куб на Three.js с подсветкой" Результат Helio1-Spark-4B-Preview: Полностью валидный HTML-файл с подключенными библиотеками, инициализацией сцены, камеры и рендера. Без галлюцинаций несуществующих методов.

3. Формат мышления

Модель использует теги <think>, чтобы структурировать решение перед ответом.

<reasoning>
[wrong]
Моментальное определение проблемы\недочёта.
[/wrong]
[think]
Пользователь просит сравнить 9.11 и 9.9.
Это классическая ловушка версионирования.
1. Переводим в математический вид: 9.11 и 9.90.
2. Сравниваем дробные части: 90 > 11.
3. Вывод: 9.9 математически больше.
[/think]
</reasoning>
<answer>9.9 больше, чем 9.11</answer>

👤 Об авторе

Модель создана одним человеком в рамках московского стартапа HelioAI.

Автор: Абдулаев Самад Германович

Статус: Студент, Основатель HelioAI

Миссия: Полноценное развитие ИИ-индустрии в России. Доказать, что талант и правильная инженерия данных важнее огромных бюджетов.

"Эта модель — только начало (v1.0 Experimental). Мы выжали максимум из минимума, использовав 4-битное квантование и ограниченный контекст. Представьте, что будет в полной версии."

🚀 Как запустить (Python)

Модель оптимизирована и работает даже на слабых картах (требуется ~4-5 ГБ VRAM в 4-bit).

code
Python
download
content_copy
expand_less
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# Базовая модель
base_model_name = "Qwen/Qwen3-4B-Thinking-2507"

# Загрузка
base = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(base_model_name)

# Подключение адаптера Helio1-Ray
model = PeftModel.from_pretrained(base, "HelioAI/Helio1-Ray-4B")

# Тест
messages = [{"role": "user", "content": "Напиши код вращающейся сферы на Three.js в одном файле."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
📧 Контакты для связи

Мы открыты к сотрудничеству, инвестициям и научному обмену.

Email: [email protected]

Telegram: @Ireit1

Организация: HelioAI (Moscow, 2026)

<p align="center">
<b>HelioAI</b><br>
<i>"Качество важнее количества"</i>
</p>