kawruh-nano-id

werukadev/kfm-nano-id

Model bahasa yang dibangun dari nol — tokenizer BPE, RoPE, GQA, KV cache, AdamW, dan sampling semuanya ditulis tangan tanpa transformers, tokenizers, atau safetensors sebagai dependensi.

Skalanya, dinyatakan apa adanya

64,533 kata itu sekitar sepersejuta data model bahasa sungguhan. Yang dihasilkannya: bentuk kata dan tata kalimat Indonesia yang dikenali, dengan kosakata teknis korpusnya.

Yang TIDAK dilakukannya: menjawab pertanyaan, mengingat fakta, atau menalar. Model ini penerus teks, bukan penjawab — ia tidak pernah melihat satu pun pasangan tanya-jawab, dan tidak ada SFT sama sekali. Prompt berupa pertanyaan akan dilanjutkan, bukan dijawab.

Gunakan ini untuk memeriksa rantai implementasinya, bukan untuk tugas sungguhan.

Cara memuat

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "werukadev/kfm-nano-id", trust_remote_code=True
)

trust_remote_code=True wajib, dan artinya pemuat akan menjalankan modeling_kfm.py dari repo ini. Arsitekturnya tidak ada di transformers, jadi tidak ada jalan lain — dan itu memindahkan kembali sebagian risiko yang dihindari safetensors. Bacalah kodenya.

Batas yang diketahui

• Tidak ada instruction tuning; format chat tidak akan dipatuhi.
• Korpusnya sempit (dokumentasi teknis satu proyek), jadi kosakatanya condong ke istilah rekayasa perangkat lunak.
• Panjang konteks 256 token.
• Belum diuji untuk keamanan, bias, maupun kelayakan produksi.