magnetar-50m-id

<div align="center"> <img src="mascot.png" alt="MAGNETAR Mascot" width="200"/>

MAGNETAR-50M-ID

Model bahasa Indonesia 49M parameter — dilatih dari nol, gratis, di Google Colab T4.

</div>

---

📋 Daftar Isi

• Deskripsi
• Arsitektur
• HELIX Tokenizer
• Training
• Kurva Training
• Eval Internal
• Cara Penggunaan
• Intended Use & Limitasi
• Infrastruktur
• Roadmap
• Acknowledgements

---

📖 Deskripsi

MAGNETAR-50M-ID adalah causal language model untuk Bahasa Indonesia yang dilatih dari nol (from scratch) di Google Colab dengan GPU T4 gratis — tanpa biaya sepeser pun.

Model ini adalah penerus spiritual dari Vega-100M-Indo, dirancang ulang dari fondasi dengan fokus pada:

• Efisiensi arsitektur — lebih ramping dari Vega tapi dengan komponen modern (GQA, RoPE, SwiGLU, RMSNorm)
• Tokenizer custom — HELIX Tokenizer yang dioptimasi khusus untuk Bahasa Indonesia, termasuk slang dan code-switching
• Transparansi training — eval internal mendalam (13 test) untuk memahami perilaku model

Model ini dirilis sebagai base model (pretraining checkpoint) — fondasi yang bisa di-fine-tune untuk berbagai downstream task Bahasa Indonesia.

⚠️ Status: Ini adalah checkpoint pretraining di step 6050/8230 (~73%). Training masih berlangsung. Model final akan diupdate setelah training selesai.

---

🏗️ Arsitektur

MAGNETAR menggunakan arsitektur Transformer decoder custom yang disebut MagnetarLM, dirancang untuk efisiensi maksimal di hardware terbatas.

Desain Arsitektur

Grouped Query Attention (GQA) 8Q:2KV Rasio 8 query head berbagi 2 key-value head. Mengurangi memory footprint KV cache hingga 4× dibanding MHA standar tanpa degradasi performa signifikan. Cocok untuk inference di hardware terbatas.

SwiGLU FFN Gated activation function dengan formula SwiGLU(x) = SiLU(gate(x)) * value(x). Terbukti lebih efisien dari ReLU/GELU standar. D_FF=1344 dipilih untuk menjaga parameter count di ~49M.

RoPE (Rotary Position Embedding) Positional encoding berbasis rotasi dengan base=10,000. Tidak ada learnable positional embedding — posisi di-encode langsung ke query dan key di setiap layer. Lebih stabil dan generalizable dibanding learned absolute PE.

RMSNorm Root Mean Square Normalization, lebih cepat dari LayerNorm karena tidak menghitung mean. Cast ke float32 sebelum operasi norm untuk mencegah NaN/overflow saat training FP16.

Weight-Tied LM Head Input embedding dan output projection berbagi weight yang sama. Hemat ~16M parameter dibanding unshared head, dan terbukti membantu generalisasi pada model kecil.

Full Causal Attention Semua Layer Berbeda dari Vega yang menggunakan hybrid attention (sliding window + full), MAGNETAR menggunakan full causal attention di semua 12 layer. Dengan seq_len=256, biaya komputasi masih terjangkau dan hasilnya lebih predictable.

---

🔤 HELIX Tokenizer

HELIX adalah tokenizer custom berbasis SentencePiece Unigram dengan vocab size 32,000, dioptimasi khusus untuk Bahasa Indonesia.

Data Training Tokenizer

Tokenizer ditraining dari dua sumber yang dikombinasikan dengan proporsi seimbang:

Proporsi data dipilih berdasarkan keseimbangan karakter (bukan dokumen) — 50/50 formal vs informal.

Konfigurasi

Special Tokens — Skema HELIX

HELIX menggunakan skema penamaan unik terinspirasi dari struktur heliks DNA, dengan format:

\HELIX→nama←HELIX/

Skema ini dirancang forward-compatible — token untuk multimodal, RAG, tool use, dan reasoning sudah disiapkan sejak tokenizer, bahkan sebelum model dilatih untuk task tersebut.

---

📊 Training

Dataset

Model ditraining pada Indonesian Web Corpus ~500M token yang diambil dari web crawl berkualitas tinggi, difokuskan pada teks Bahasa Indonesia formal dan semiformal.

Konfigurasi Training

Dataset Format

Token dikemas rapat tanpa padding menggunakan teknik packing — semua token dari berbagai dokumen dirangkai menjadi satu stream panjang lalu dipotong per seq_len. Tidak ada token yang terbuang untuk padding. Dataset disimpan sebagai numpy mmap untuk efisiensi RAM.

Loss Masking

Token dengan ID 0–43 (semua special tokens HELIX) di-mask dari loss computation. Model tidak dilatih untuk memprediksi special token — hanya token konten biasa.

---

📈 Kurva Training

<div align="center"> <img src="training_curves.png" alt="Training Curves" width="100%"/> </div>

Ringkasan per 1000 Step

Loss di step 6050: 4.1183 · Perplexity: 61.5

---

🧪 Eval Internal

Sebelum upload, model dievaluasi menggunakan 13 test internal (eval_v4) untuk memahami perilaku representasi dan training dynamics.

A · Residual Stream Decomposition

Mengukur kontribusi attention vs FFN ke residual stream per layer.

B · Dead Neurons

0/1344 dead neurons di semua layer. Kapasitas model terpakai penuh — tidak ada neuron yang sia-sia. Mean activation meningkat konsisten dari L0 (0.21) ke L11 (0.37), menunjukkan representasi semakin kaya di layer atas.

C · Gradient Norm per Layer

Gradient flow sehat di semua layer tanpa tanda vanishing gradient. L0 punya gradient total tertinggi (51.1) karena menerima signal dari semua layer downstream. Tidak ada layer yang "mati" dari sisi gradient.

D · Gradient Similarity antar Sample

Mean cosine similarity antar gradient: 0.023 (range: -0.023 hingga 0.093).

Nilai rendah ini menunjukkan gradient tiap sample masih cukup ortogonal — model sedang dalam fase belajar aktif, belum konvergen ke solusi tunggal. Normal untuk pretraining di step ini.

E · Head Specialization

96 attention head dikluster berdasarkan behavior:

Copy heads terkonsentrasi di L3–L8, semantic heads dominan di L0–L2 dan L9–L11. Tidak ada positional-only head — model sudah belajar representasi semantik dari awal.

F · Attention Sink

Token pertama di setiap kalimat menjadi attention sink dengan score 0.44–0.46 — normal untuk model tanpa BOS yang ditempatkan di posisi 0. Tidak ada anomali (token tengah menjadi sink).

G · Cross-Layer Attention Similarity

Mean similarity antar layer: 0.892. Terdapat 38 pasang layer dengan similarity >0.9, terutama di cluster L2–L8.

Ini mengindikasikan redundansi layer di rentang tersebut — kemungkinan karena seq_len=256 yang pendek membuat semua layer "melihat" informasi yang serupa. Akan diatasi di versi berikutnya dengan seq_len lebih panjang.

H · Probing Classifier

Logistic regression di atas hidden state setiap layer:

Representasi linguistik sudah terbentuk sejak L0 dan konsisten hingga L11.

I · Intrinsic Dimensionality

L8 collapse ke dimensionalitas sangat rendah (PR=3.0) — konsisten dengan anomali yang terdeteksi di Test A dan C. Layer ini berperilaku sebagai bottleneck.

J · Anisotropy

Semua layer dalam range sehat (avg cosine 0.08–0.29). Tidak ada layer yang collapse ke satu arah (anisotropy ekstrem). Representasi terdistribusi dengan baik di ruang embedding.

K · Token Cluster Visualization

Embedding space menunjukkan cluster yang terorganisir berdasarkan domain semantik. Hidden state layer terakhir memisahkan kalimat berdasarkan topik dengan jelas.

L · Calibration

ECE 0.043 sangat baik — model well-calibrated, artinya confidence-nya selaras dengan actual accuracy. Accuracy 15.1% rendah tapi wajar untuk pretraining base model tanpa fine-tuning.

M · Factual Consistency

Score: 0/4 topic groups konsisten.

Model belum konsisten menjawab pertanyaan faktual yang sama dengan paraphrase berbeda. Ini expected untuk pretraining base model — factual consistency adalah job dari instruction tuning, bukan pretraining.

---

⚙️ Cara Penggunaan

⚠️ Penting: Model ini menggunakan arsitektur dan tokenizer custom. Wajib menambahkan trust_remote_code=True.

Install

pip install transformers sentencepiece safetensors

Basic Inference

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained(
    "Veenn/magnetar-50m-id",
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    "Veenn/magnetar-50m-id",
    trust_remote_code=True
)
model.eval()

prompt = "Teknologi kecerdasan buatan saat ini"
inputs = tokenizer(prompt, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens     = 100,
        do_sample          = True,
        temperature        = 0.8,
        top_p              = 0.9,
        top_k              = 50,
        repetition_penalty = 1.3,
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Recommended Generation Config

generation_config = {
    "max_new_tokens"      : 100,
    "do_sample"           : True,
    "temperature"         : 0.8,
    "top_p"               : 0.9,
    "top_k"               : 50,
    "repetition_penalty"  : 1.3,
    "no_repeat_ngram_size": 3,
    "min_new_tokens"      : 10,
}

Akses Special Tokens HELIX

# Chat template manual
bos       = tokenizer.bos_token          # \HELIX→start←HELIX/
user_tok  = "\HELIX→user←HELIX/"
asst_tok  = "\HELIX→assistant←HELIX/"
sys_tok   = "\HELIX→system←HELIX/"
eos       = tokenizer.eos_token          # \HELIX→end←HELIX/

prompt = f"{bos}{sys_tok}Kamu adalah asisten AI.{user_tok}Apa itu fotosintesis?{asst_tok}"

---

🎯 Intended Use & Limitasi

✅ Cocok untuk

• Fine-tuning downstream task Bahasa Indonesia (klasifikasi, NER, QA, summarization)
• Basis eksperimen arsitektur LM skala kecil
• Penelitian NLP Bahasa Indonesia
• Pretraining experiments dengan Indonesian web corpus
• Deployment edge/lokal (49M param, ringan)

❌ Tidak cocok untuk

• Penggunaan langsung sebagai chatbot/asisten (belum instruction-tuned)
• Factual QA tanpa fine-tuning
• Aplikasi produksi yang memerlukan akurasi faktual tinggi
• Teks panjang >256 token (seq_len terbatas)

⚠️ Limitasi yang Diketahui

• Factual knowledge lemah — base model, bukan instruction-tuned
• Max sequence 256 token — pendek untuk dokumen panjang
• Cross-layer redundancy tinggi (L2–L8) karena seq_len pendek
• Layer 8 berperilaku sebagai bottleneck (intrinsic dim rendah)
• Training masih ~73% selesai pada checkpoint ini

---

💻 Infrastruktur

---

🗺️ Roadmap

• v1.0-final — Training selesai step 8230, upload checkpoint final
• MAGNETAR-50M-ID-Instruct — Instruction tuning dengan dataset Bahasa Indonesia
• Continued Pretraining — Extended training dengan seq_len lebih panjang (512+) untuk kurangi cross-layer redundancy
• MAGNETAR-100M-ID — Scale up ke 100M parameter dengan arsitektur yang sama

---

🙏 Acknowledgements

• Google Colab — untuk akses GPU T4 gratis yang membuat proyek ini mungkin
• HuggingFace — untuk ekosistem transformers dan hosting model

---

<div align="center">

Dilatih dari nol. Gratis. Untuk Bahasa Indonesia.

MAGNETAR-50M-ID · Apache 2.0 · @Veenn

</div>