Koliber-v1.0-Base-copy

Koliber v1.0 Base

Koliber v1.0 Base is a compact Polish decoder-only causal language model developed by OrisTeam and trained from scratch.

It is a base pretrained model, not an instruction-tuned assistant or chatbot. It is intended primarily for text completion and as a foundation for further supervised fine-tuning, preference optimization, continued pretraining, research, and experimentation.

[!NOTE] This is a copy of the Koliber v1.0 Base repository documentation. The original model and official repository are available at: https://huggingface.co/OrisTeam/Koliber-v1.0-Base

Model

Training-only future-state auxiliary objective

Koliber was trained with standard next-token prediction together with a small auxiliary hidden-state prediction objective.

A training-only head learns to predict a future hidden representation approximately 128 tokens ahead, sampled every 32 tokens, using a low-rank 192-dimensional projection and cosine-distance loss.

The auxiliary loss was applied with a weight of 0.03:

L = L_NTP + 0.03 × L_future

The auxiliary head is not part of the released inference model, adds no inference-time parameters, and is not required when loading or generating with Koliber.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "OrisTeam/Koliber-v1.0-Base"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

Generation

Koliber is primarily a text-completion model. Natural text prefixes are generally more appropriate than instruction-style chat prompts.

inputs = tokenizer(
    "Polska jest krajem, który",
    return_tensors="pt",
)

output = model.generate(
    **inputs,
    max_new_tokens=96,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=1.15,
)

print(
    tokenizer.decode(
        output[0],
        skip_special_tokens=True,
    )
)

Base-model generation snapshot

Below are raw sampled continuations from Koliber v1.0 Base — 126M and Azurro/APT3-275M-Base — 275M.

Both are base pretrained language models rather than instruction-tuned assistants.

The same generation setup was used for both models:

seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15

The random seed was reset before each model and each prompt. The examples are shown as qualitative samples, not as a ranking.

Example 1

Prompt

Wczoraj wieczorem mieszkańcy miasta zauważyli, że

Koliber v1.0 Base — 126M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.

• W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje

Zjawa: W tle pogłoski, o

APT3-275M-Base — 275M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano Policję. Policjanci ustalili tożsamość mężczyzny, który wyszedł na ulicę. Policjanci szybko ruszyli do funkcjonariuszy. Jeden z nich miał zadać uderzenie w głowę, drugi w plecy, trzeci uderzył w twarz. Policjantom udało się ustalić, kto jest sprawcą zdarzenia. Po interwencji funkcjonariusze Wydziału Ruchu Drogowego

Example 2

Prompt

Naukowcy odkryli nową metodę, która

Koliber v1.0 Base — 126M

Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.

• W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.

O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation

APT3-275M-Base — 275M

Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy. Po tym okresie należy wykonać kolejne zabiegi w odstępach miesięcznych, a efekty wyglądają niemal tak samo. W Polsce można skorzystać z trzech rodzajów zabiegów w salonach medycyny

Example 3

Prompt

Według najnowszych danych gospodarka

Koliber v1.0 Base — 126M

Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.

W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.

Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat. Na koniec maja 2017 roku, Amerykanie w tym okresie mieszkali w ponad 13,9

APT3-275M-Base — 275M

Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów oraz rodzin wielodzietnych. Z kolei osoby, które nie są w stanie pokryć kosztów utrzymania swoich dzieci, najczęściej decydują się na odkładanie pieniędzy na konta bankowe lub oszczędnościowe. Co ciekawe,

Example 4

Prompt

Największym problemem współczesnych miast jest

Koliber v1.0 Base — 126M

Największym problemem współczesnych miast jest ich bezpieczeństwo. Według statystyk w Polsce z powodu wypadków drogowych i kolizji drogowych zginęło co najmniej 12 osób, a na 100 z nich zginęły cztery osoby.TOP 10 najlepszych blogerów, którzy czytają książki: Zdradza (nie)zabawki

Zdradza (nie)zabawki

"Zdradza", czyli "Zdrada" to najnowsza edycja bestsellera autorki. I nie chodzi tu o takie banały jak "Wymysły

APT3-275M-Base — 275M

Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? W celu szybkiego znalezienia idealnego miejsca dla siebie lub dla swojego dziecka poszukaj na stronie google.pl. Najpopularniejsze ośrodki narciarskie w województwie to Międzyzdroje i Zakopane. fot.

Lukasz Kmiecik: Turystyczne miejscowości Podhalańskie Na terenie miejscowości Pod

Example 5

Prompt

Historia Polski pokazuje, że

Koliber v1.0 Base — 126M

Historia Polski pokazuje, że przy odrobinie szczęścia można zbudować w pełni satysfakcjonujące życie.

• Nie ma dla mnie rzeczy niemożliwych - dodaje z uśmiechem. To jak by to było, gdyby nie pomoc przyjaciół z Afryki, którzy w swoich działaniach bardzo dbają o swój los. - Jak najbardziej warto, bo od nich zależy na ile się da i jak będzie wyglądać nasza przyszłość.

W rozmowie z Radiem Zet nie zabrakło też słów od dziennikarzy i działaczy samorządowych.

• Chcemy po prostu pomagać, bo

APT3-275M-Base — 275M

Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Szczecinie - opowiada.

Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym piękna i kultury oraz historii. To miasto i jego mieszkańcy od wieków mają na sercu kulturę, historię, obyczaje oraz historię. Ta dziedzina sztuki zasługuje na uznanie. Miasto, które ma ogromną tradycję w swoim zakresie kulturowym, jest w dużej mierze

These are raw sampled base-model continuations. They have not been manually corrected.

They may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, abrupt topic changes, web-like artifacts, offensive material, or other errors typical of small pretrained language models.

Limitations and safety

Koliber v1.0 Base has not been supervised instruction-tuned and has not undergone preference optimization or chat alignment.

Raw generations may:

• drift off topic or switch abruptly between document styles,
• repeat or produce malformed text,
• imitate web, news, forum, advertising, or scraped-document patterns,
• hallucinate factual claims, citations, people, organizations, dates, or statistics,
• produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
• continue unsafe or malicious patterns present in a prompt,
• behave unpredictably outside distributions represented during pretraining.

Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.

Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.

Intended use

Koliber v1.0 Base is intended for:

• research on small Polish language models,
• text-completion experiments,
• likelihood-based and representation-level evaluation,
• continued pretraining,
• supervised fine-tuning,
• preference optimization,
• development of downstream Polish-language models.

It is not presented as a safety-aligned assistant.

Citation

@misc{KoliberV1Base,
  author       = {Aleksander Ogrodzki},
  title        = {Koliber v1.0 Base},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/OrisTeam/Koliber-v1.0-Base},
  note         = {Model architecture, training data pipeline, and training pipeline developed by the author}
}

License

Apache-2.0.