LFM2.5-350M-T-Wix-ru

LFM2.5-350M-T-Wix-ru

⚠️ Экспериментальная версия. Учебный/исследовательский прогон без формальной оценки на бенчмарках (снимался только training loss + смоук-квизы). Не для продакшена. Младшая модель линейки — для edge/CPU-инференса; см. также 1.2B-версию.

Русифицированная версия LiquidAI/LFM2.5-350M: LoRA SFT на русскоязычном датасете t-tech/T-Wix (~463 тыс. диалогов, english_corpus исключён; в этом прогоне использован случайный сабсэмпл 200 тыс.). Базовая модель официально поддерживает en/ar/zh/fr/de/ja/ko, но не русский — этот тюнинг адаптирует её к русскому языку.

Что улучшилось, а что нет

✅ Улучшилось:

• Русский стал беглым и структурным — базовая модель 350M на русском выдавала грамматически сломанный текст с выдуманными словами и иноязычными (китайскими/корейскими) вставками; после тюнинга ответы связные и оформленные.
• Математические/рассуждающие ответы теперь на русском (база сваливалась в английский или мешанину).
• Формат вызова инструментов (<|tool_call_start|>[func(args)]<|tool_call_end|>) полностью сохранён (9/10 на многофункциональном смоуке — столько же, сколько у базы, регресса нет).

⚠️ Известные ограничения (ожидаемы для класса 350M):

• Фактология на русском галлюцинирует — сильнее, чем у 1.2B (меньше ёмкость). Как и у старшей модели, знания плохо переносятся из английского в русскоязычную генерацию. Для фактов на русском нужен RAG.
• Перевод EN→RU слабый (осмысленный, но с ошибками).
• Арифметика ненадёжна (может ошибаться в простых умножениях/дробях; иногда верный ответ при неверной логике).

Для более качественных ответов используйте 1.2B-версию. Эта 350M-модель — компромисс размера/скорости для устройств с ограниченными ресурсами.

Структура репозитория

Запуск

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kaufkino/LFM2.5-350M-T-Wix-ru"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(repo)

messages = [{"role": "user", "content": "Расскажи о Санкт-Петербурге"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.5, top_p=0.95,
                     do_sample=True, repetition_penalty=1.1)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Рекомендации по инференсу (из смоук-тестов): temperature=0.5, top_p=0.95, repetition_penalty=1.1 — так меньше зацикливаний и иноязычных вставок.

llama.cpp

llama-cli -m lfm25-350m-twix-ru-q8_0.gguf -cnv -p "Ты полезный ассистент."

Детали обучения

Инфраструктура

Обучение проводилось на облачном GPU-сервере Selectel (реферальная ссылка) — 1× NVIDIA RTX 4090 24 ГБ, ~6.5 часов.

---

EN: Experimental Russian-language adaptation of LFM2.5-350M via LoRA SFT (r=32, 1 epoch, 8192 ctx, packing) on the T-Wix dataset (200k-example subsample, english_corpus excluded). The base model does not officially support Russian. Russian fluency improves markedly (the 350M base produced broken text with foreign-script insertions); however factual knowledge transfers poorly from English into Russian generation — more so than the 1.2B sibling due to smaller capacity — so the model answers factual questions correctly in English but hallucinates in Russian; use RAG for Russian facts. Translation and arithmetic remain weak. Native tool-call format is fully preserved (9/10, same as base — no regression). This is the smaller model of the pair; for higher quality use the 1.2B version. Repo contains merged bf16 safetensors (root), the LoRA adapter (/lora), and GGUF F16/Q8_0 (/gguf). Research artifact, not for production.