indobert-reranker-asn-sumenep

IndoBERT Reranker — Regulasi ASN Bahasa Indonesia

Fine-tuned cross-encoder reranker berbasis indobenchmark/indobert-lite-base-p1 untuk sistem tanya jawab regulasi ASN (Aparatur Sipil Negara) dalam Bahasa Indonesia, khususnya domain hukum kepegawaian pemerintah daerah.

Dikembangkan sebagai komponen retrieval pipeline dalam tesis S2: "Sistem RAG berbasis LLM untuk Tanya Jawab Regulasi ASN di Kabupaten Sumenep"

---

Deskripsi Model

Model ini adalah cross-encoder yang menerima pasangan (query, passage) dan menghasilkan skor relevansi antara 0–1. Digunakan sebagai tahap reranking setelah initial retrieval (hybrid search BM25 + vector search).

Kemampuan

• Memahami pertanyaan natural Bahasa Indonesia tentang regulasi kepegawaian
• Membedakan chunk regulasi yang relevan dari yang topik-nya mirip (hard negatives)
• Efisien dijalankan di CPU (dioptimasi dengan INT8 quantization)

Domain

Regulasi ASN Indonesia: PP, Permenpan-RB, Perka BKN, Perbup terkait:

• Kenaikan pangkat dan jabatan
• Cuti dan izin PNS
• Disiplin dan sanksi ASN
• Penilaian kinerja (SKP)
• Tunjangan dan kompensasi
• Pengangkatan dan pemberhentian

---

Performa Model

Classification Metrics (Test Set)

Ranking Metrics (lebih relevan untuk chatbot)

Latensi CPU (estimasi, indobert-lite)

Dengan INT8 quantization: ~2-4× lebih cepat

---

Detail Training

Dataset Training

Strategi pembuatan dataset:

• Query sintetis di-generate dengan Gemini 1.5-flash dari chunk regulasi ASN
• Hard negatives diambil via BM25 (chunk yang keyword-nya mirip, konteks beda)
• Easy negatives diambil secara random dari pool dokumen
• Rasio positif:negatif = 1:3 (1 positif, 1 easy neg, 2 hard neg per query)
• Split stratified by source chunk (tidak ada query leakage antar split)

---

Cara Pakai

1. Minimal (Transformers langsung)

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")
model = AutoModelForSequenceClassification.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")
model.eval()

query = "Apa syarat kenaikan pangkat reguler ASN golongan III/b?"
passage = "Kenaikan pangkat reguler diberikan kepada PNS yang telah memenuhi syarat..."

with torch.no_grad():
    inputs = tokenizer(
        query, passage,
        max_length=512,
        truncation="only_second",
        padding=True,
        return_tensors="pt",
    )
    logits = model(**inputs).logits
    score = torch.sigmoid(logits).item()

print(f"Skor relevansi: {score:.4f}")  # mendekati 1.0 = sangat relevan

2. Rerank Multiple Kandidat

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")
model = AutoModelForSequenceClassification.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")
model.eval()

query = "Bagaimana prosedur pengajuan cuti besar PNS?"
candidates = [
    "Cuti besar diberikan kepada PNS yang telah bekerja minimal 5 tahun...",
    "Tunjangan kinerja ditetapkan berdasarkan kelas jabatan dan capaian...",
    "Pasal 72 menyebutkan cuti tahunan diberikan selama 12 hari kerja...",
    "Permohonan cuti besar diajukan kepada pejabat yang berwenang melalui...",
]

scores = []
with torch.no_grad():
    for passage in candidates:
        inputs = tokenizer(
            query, passage,
            max_length=512, truncation="only_second",
            padding=True, return_tensors="pt",
        )
        logit = model(**inputs).logits
        scores.append(torch.sigmoid(logit).item())

# Ranking
ranked = sorted(zip(scores, candidates), reverse=True)
for score, passage in ranked:
    print(f"{score:.4f} | {passage[:70]}...")

3. Dengan INT8 Quantization (lebih cepat di CPU)

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")
model = AutoModelForSequenceClassification.from_pretrained("moh-affan/indobert-reranker-asn-sumenep")

# Quantize untuk CPU
model = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)
model.eval()
# Selanjutnya sama seperti contoh di atas

4. Integrasi LlamaIndex

# Menggunakan class dari pipeline tesis
from integrate_llamaindex import IndoBERTReranker, build_rag_pipeline

reranker = IndoBERTReranker(
    model_path="moh-affan/indobert-reranker-asn-sumenep",
    top_n=3,
    batch_size=8,
)

query_engine = build_rag_pipeline(
    index=index,            # VectorStoreIndex dari Qdrant
    reranker=reranker,
    retriever_top_k=10,    # ambil 10 dari hybrid search → rerank → top 3
)

response = query_engine.query("Apa syarat kenaikan pangkat ASN?")

---

Arsitektur Pipeline RAG

User Query
    │
    ▼
Hybrid Search (BM25 + Vector + RRF) → top-10 kandidat
    │
    ▼
IndoBERT Reranker (model ini) → top-3 terpilih
    │
    ▼
LLM Generation (Gemini) → Response

---

Limitasi

• Dilatih khusus pada regulasi ASN Indonesia — performa di domain lain tidak dijamin
• Tidak mendukung query dalam Bahasa Madura atau bahasa daerah lain
• Panjang teks optimal: query < 50 kata, passage < 400 kata
• Belum diuji pada regulasi yang terbit setelah dataset dibuat

---

Sitasi

Jika menggunakan model ini dalam penelitian, harap sitasi:

@mastersthesis{affan2025reranker,
  title   = {Sistem RAG berbasis LLM untuk Tanya Jawab Regulasi ASN
             di Kabupaten Sumenep dengan Fine-tuned Reranker},
  author  = {Affan},
  school  = {BKPSDM Kabupaten Sumenep / ISTTS Surabaya},
  year    = {2025},
  note    = {Model tersedia di https://huggingface.co/moh-affan/indobert-reranker-asn-sumenep}
}

---

Informasi

• Author: Affan
• Institusi: BKPSDM Kabupaten Sumenep / ISTTS Surabaya
• Tanggal upload: 2026-08-06
• Base model: indobenchmark/indobert-lite-base-p1
• License: MIT