eblangpt-2

🍅 EBLAN GPT 2

Крошечная LLaMA-архитектура на 115K параметров, обученная на русском словаре словоформ. Совместима с llama.cpp из коробки — архитектура llama, всё по спеке.

Это скорее демка того что можно обучить настоящий трансформер с нуля и экспортнуть в GGUF, чем полезная модель. Генерит морфологически правдоподобные псевдорусские слова.

Архитектура

Использование

llama.cpp

llama-completion -m eblangpt2.gguf -p "программ" -n 200 --temp 0.7

Python (llama-cpp-python)

from llama_cpp import Llama

llm = Llama(model_path="eblangpt2.gguf", n_ctx=64)
out = llm("программ", max_tokens=100, temperature=0.7)
print(out["choices"][0]["text"])

Пример вывода

Промпт программ при temp=0.7:

программою плапланную окоплежившему отмехальногичество
выконымпарваюшеннпруеках арлватлеганиа тууу стшнноурра маш

Модель поймала окончания русских слов (склонения, спряжения, причастия), но синтаксису и семантике не обучена — в датасете был только словарь, без связных предложений.

Обучение

Обучено на сабсете русского словаря словоформ (30 KB), 1000 шагов AdamW, batch=16, lr=3e-3. Лосс 5.7 → 0.89.

Код обучения: см. tiny_llama.py.

Переобучить на своих данных:

python tiny_llama.py train свой_текст.txt model.gguf 2000

Как улучшить

• Увеличить N_EMBD=128, N_LAYERS=4, N_FF=256 — будет ~1M параметров
• Обучать на связной прозе (не только словарь) — появится хоть какая-то семантика
• Больше шагов (10K+) на большем датасете (несколько МБ)

Лицензия

Apache 2.0 — делай что хочешь.