poziomka-sft-instruct-2603

4B A1.15B MoE pre-trained from scratch on about ~80B tokens of Polish text.

This is a preview of post-trained variant.

It works well in SGLang. vllm and llama.cpp might produce errors since this model uses 32 out of 128 activated experts per layer, and this is higher than other models of this architecture.

It uses ChatML chat template and does not support tool calls

example of a generation

system prompt

Czat

prompt

czy w Polsce wciąż można spotkać krowy? Jak dużo krów jest w Polsce i w jakich miejscach najłatwiej je znaleźć?

generation

Krowy w Polsce wciąż można znaleźć w różnych miejscach. Choć liczba krów może się zmieniać w ciągu lat, to w Polsce wciąż można znaleźć wiele krów, szczególnie w regionach górskich i na wiejskich. Oto kilka lokalizacji, w których można znaleźć krowy: Góry: W wielu regionach górskich można znaleźć krowy. Na przykład w Beskidach można znaleźć kilka krów, szczególnie w pobliżu granicy z Niemcami. Wsie: W Polsce można również znaleźć krowy w miastach, takich jak Kraków, Warszawa i Wrocław, gdzie rolnicy często mają krowy do przechowywania. Północno-wschodnia Polska: W tych regionach można znaleźć krowy w gospodarstwach rolnych, w których rolnicy mogą przechowywać krowy. Łapy: W tych regionach można znaleźć krowy w gospodarstwach rolnych. Regiony górskie: W tych regionach można znaleźć krowy w gospodarstwach rolnych. Regiony wiejskie: W tych regionach można znaleźć krowy w gospodarstwach rolnych. Aby znaleźć krowy, można odwiedzić lokalne gospodarstwa rolne lub znaleźć je w Internecie.

rep_p 1.03, min_p 0.1, top_k 40

Github repo with related scripts - https://github.com/adamo1139/Ling-V2