thai-legal-lora

Thai Legal LoRA (Typhoon-2-3B)

โมเดลภาษาเฉพาะทางด้านกฎหมายไทย พัฒนาขึ้นโดยการปรับจูนพารามิเตอร์แบบ Low-Rank Adaptation (LoRA) บนโมเดลพื้นฐาน scb10x/llama3.2-typhoon2-3b มุ่งเน้นการประมวลผลและสร้างคำตอบสำหรับระบบ Retrieval-Augmented Generation (RAG) ในขอบเขตกฎหมายแพ่งและพาณิชย์ (Thai Corporate & Commercial Law) โดยมีเป้าหมายเพื่อเพิ่มความสอดคล้องของคำตอบกับบริบทที่สืบค้นได้ และลดอัตราความคลาดเคลื่อนในการระบุบทบัญญัติทางกฎหมาย (Legal Hallucination)

• Foundation Model: scb10x/llama3.2-typhoon2-3b
• Methodology: Parameter-Efficient Fine-Tuning (PEFT / QLoRA)
• Source Code & Evaluation: GitHub Repository (PlamGG/thai-legal-rag)
• License: Llama 3.2 Community License

---

สรุปเปรียบเทียบเชิงประสิทธิภาพ (Comparative Evaluation)

การประเมินผลกระทำบนชุดข้อมูลทดสอบของ WangchanX-Legal-ThaiCCL-RAG จำนวน 50 ตัวอย่าง โดยใช้วิธีการสืบค้นแบบผสม (Hybrid Retrieval) และเงื่อนไขการทดสอบเดียวกันระหว่าง Base Model และ LoRA Adapter บน Kaggle GPU T4:

ข้อค้นพบจากการทดสอบ

1. การควบคุมขอบเขตเนื้อหา (Adherence to Context): โมเดลพื้นฐานมักตอบด้วยภาษาแชตทั่วไป ทวนโจทย์ หรือขยายความเกินขอบเขตของเอกสารที่สืบค้น ขณะที่แบบจำลองที่ปรับจูนแล้วสามารถสกัดข้อความที่เป็นสาระสำคัญจากบริบทมาสังเคราะห์คำตอบได้ตรงประเด็นเชิงนิติศาสตร์
2. ความแม่นยำในการระบุมาตรา (Statutory Citation): อัตราการอ้างอิงเลขมาตราตรงกับเฉลย (Ground Truth) เพิ่มขึ้นจาก 34.00% เป็น 62.00% และลดอัตราการตอบไม่ตรงประเด็น (Zero-Score) ลงเหลือเพียง 8.00%

---

รายละเอียดการฝึกแบบจำลอง (Training Specifications)

• ชุดข้อมูลฝึกฝน: สกัด 2,000 คู่คำถาม-คำตอบคุณภาพสูงจากคลังบทบัญญัติกฎหมายธุรกิจและพาณิชย์ airesearch/WangchanX-Legal-ThaiCCL-RAG
• การกำหนดค่า LoRA (PEFT):
  • LoRA Rank ($r$): 8
  • LoRA Alpha ($\alpha$): 16
  • LoRA Dropout: 0.1
  • Target Modules: q_proj, v_proj, o_proj
  • Trainable Parameters: ~3.7 ล้านพารามิเตอร์ (~0.11% ของโมเดล)
• สภาพแวดล้อมการคำนวณ:
  • การจัดเก็บข้อมูล: 4-bit NormalFloat (NF4) ร่วมกับ Double Quantization
  • Optimization: AdamW (lr=2e-4, Gradient Accumulation Step = 4)
  • จำนวนรอบการฝึก (Epochs): 2

---

รูปแบบการป้อนข้อมูลและการอนุมาน (Inference Usage)

การใช้งานจำเป็นต้องจัดโครงสร้างข้อความนำเข้า (Prompt Template) ให้ตรงกับรูปแบบที่ใช้ในการฝึกฝน เพื่อให้แบบจำลองสามารถจำแนกส่วนของบริบททางกฎหมายและคำถามได้อย่างถูกต้อง:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel

base_model_id = "scb10x/llama3.2-typhoon2-3b"
adapter_id = "DuckerMaster/thai-legal-lora"

# 1. กำหนดค่า 4-bit NormalFloat Quantization (ใช้ VRAM เพียง ~3.5 GB)
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True
)

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,
    device_map="auto"
)

# 2. เชื่อมต่อ LoRA Adapter
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()

# 3. โครงสร้าง Context-Grounded Prompt ตามมาตรฐานการฝึก
context = (
    "ประมวลกฎหมายแพ่งและพาณิชย์ มาตรา 1012: "
    "อันว่าสัญญาจัดตั้งห้างหุ้นส่วนหรือบริษัทนั้น คือสัญญาซึ่งบุคคลตั้งแต่สองคนขึ้นไปตกลงเข้ากันเพื่อกระทำกิจการร่วมกัน "
    "ด้วยประสงค์จะแบ่งปันกำไรอันจะพึงได้แต่กิจการที่ทำนั้น"
)
question = "สัญญาจัดตั้งห้างหุ้นส่วนหรือบริษัทคืออะไร"

prompt = f"จากกฎหมายต่อไปนี้:\n{context}\n\nคำถาม: {question}\nคำตอบ:"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
        temperature=None,
        top_p=None,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
answer = response.split("คำตอบ:")[-1].strip()
print("คำวินิจฉัย:", answer)

---

ข้อจำกัดและการนำไปใช้ (Limitations & Technical Scope)

1. ขอบเขตของเนื้อหา: ข้อมูลที่ใช้ในการพัฒนาจำกัดเฉพาะกฎหมายแพ่ง พาณิชย์ และกฎหมายธุรกิจที่เกี่ยวข้อง จึงไม่ครอบคลุมประมวลกฎหมายอาญา หรือกฎหมายวิธีพิจารณาความ
2. การพึ่งพาตัวแบบสืบค้น (Retriever Dependency): โมเดลทำหน้าที่สังเคราะห์คำตอบจากข้อความนำเข้า ไม่ได้ทำหน้าที่เป็นคลังจัดเก็บตัวบทกฎหมาย ความถูกต้องของคำตอบจึงขึ้นอยู่กับความแม่นยำของระบบสืบค้น (Retrieval Module) เป็นสำคัญ
3. ข้อจำกัดความรับผิดชอบ: ผลลัพธ์จากการประมวลผลมีวัตถุประสงค์เพื่อการวิจัยทางด้านการประมวลผลภาษาธรรมชาติ (NLP) เท่านั้น ไม่สามารถนำไปใช้ทดแทนการให้คำปรึกษาหรือการวินิจฉัยข้อกฎหมายเชิงวิชาชีพ

---

เอกสารอ้างอิง (References)

• Kunlakote, P., et al. (2024). Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models. arXiv:2412.13702.
• AIResearch Thailand. (2025). WangchanX-Legal-ThaiCCL-RAG Dataset and Technical Report. arXiv:2502.10868.