nuextract_lora_373_v15fix_r32_eps_4

jester6136/nuextract_lora_373_v15fix_r32_eps_4

LoRA adapter cho NuExtract3 (fine-tune tầng ngôn ngữ, r=32/alpha=32 (rsLoRA), KHÔNG merge — nạp qua --lora-modules lúc serve), train trên bộ 373 hồ sơ ban_ke_khai_tai_san_thu_nhap_hang_nam (kê khai tài sản/thu nhập hàng năm), địa chỉ đã gộp thành 1 chuỗi verbatim theo ai-parsany#72.

Đây là checkpoint epoch 4/5 trên dataset v15_fix — bản schema đã BỎ 2 field quốc_gia và nguồn_gốc_hình_thành (khỏi schema v15 gốc) — mỗi _eps_N là 1 bản lưu ĐỘC LẬP tại cuối epoch N (train liên tục epoch 1→N, không phải N lần train riêng).

So sánh 5 epoch (eval thật, McNemar exact test, xem báo cáo đầy đủ bên dưới)

Kết luận: cả 5 epoch đều cải thiện rất mạnh so với baseline (+18-20pp accuracy), McNemar p-value = 0.0000 ở mọi epoch (khác biệt không phải nhiễu). Accuracy LoRA tăng đều từ epoch 1→4 (0.820 → 0.851), sau đó chững lại ở epoch 5 (0.850, thấp hơn epoch 4 trong biên độ nhiễu) — dấu hiệu điển hình của hội tụ/bắt đầu bão hoà. Epoch 4 là lựa chọn tốt nhất (cao nhất, và field-bịa thấp tương đương các epoch khác); epoch 5 dùng được nếu cần nhưng không có lợi thêm so với epoch 4.

So với dòng v15 (không fix, có quốc_gia/nguồn_gốc_hình_thành) trước đó — dòng v15_fix (bỏ 2 field này) đạt accuracy CAO HƠN RÕ RỆT (epoch tốt nhất ~0.85 so với ~0.84 của dòng v15/r32 cũ), phù hợp với kỳ vọng: bỏ field khó/nhiễu giúp model tập trung học tốt các field còn lại.

File trong repo

• adapter_model.safetensors + adapter_config.json — trọng số LoRA (PEFT, r=32/rsLoRA).
• template.json — schema NuExtract BẮT BUỘC truyền lúc suy luận (không có schema này, model không biết cấu trúc JSON cần trích xuất).
• chat_template.jinja, processor_config.json, tokenizer* — processor gốc kèm theo lúc train.

Dùng với vLLM (đã verify trong project gốc, vllm==0.22.1)

# Repo PRIVATE — cần token đọc được repo này
export HF_TOKEN=hf_xxx
huggingface-cli download jester6136/nuextract_lora_373_v15fix_r32_eps_4 --local-dir ./adapter_eps_4

vllm serve /path/to/NuExtract3 \
    --served-model-name nuextract \
    --enable-lora \
    --lora-modules nuextract-lora=./adapter_eps_4 \
    --max-lora-rank 32 \
    --trust-remote-code \
    --dtype bfloat16 \
    --port 8001

(Nếu vLLM báo lỗi Could not find nvcc lúc khởi động: máy không có CUDA toolkit, chỉ có driver — set thêm VLLM_USE_FLASHINFER_SAMPLER=0 và VLLM_USE_DEEP_GEMM=0 trước khi vllm serve, né JIT compile kernel không cần thiết cho model bf16 này.)

Lưu ý --max-lora-rank: adapter này train với r=32 (rsLoRA) — PHẢI set --max-lora-rank 32 (hoặc lớn hơn), set 16 như các adapter r=16 khác sẽ LOAD LỖI.

Gọi inference (OpenAI-compatible API)

template=/chat_template_kwargs= là quy ước RIÊNG của REST API (vLLM/litellm expose) — KHÔNG giống lời gọi processor.apply_chat_template trực tiếp bằng Python (ở đó truyền template= là kwarg cấp cao nhất, không bọc trong chat_template_kwargs).

import json, openai

template = json.load(open("template.json", encoding="utf-8"))
client = openai.OpenAI(base_url="http://localhost:8001/v1", api_key="none")
resp = client.chat.completions.create(
    model="nuextract-lora",
    messages=[{"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{img_b64}"}}
    ]}],
    extra_body={"chat_template_kwargs": {"template": json.dumps(template, ensure_ascii=False),
                                          "enable_thinking": False}},
    temperature=0.0,
    max_tokens=8192,  # 4096 mặc định có thể TRUNCATE output với record dài nhiều thực thể
)
print(resp.choices[0].message.content)  # chuỗi JSON theo đúng template.json

Báo cáo eval đầy đủ (epoch 4)

Eval LoRA vs Baseline — NuExtract3 (ai-parsany#40)

• 34 tài liệu test · 2282 leaf so được · n gọi lỗi: baseline=1 lora=0

Bất đối xứng (McNemar): baseline-đúng-lora-sai=78 · baseline-sai-lora-đúng=528

McNemar exact p-value (2 phía): 0.0000

⇒ ĐẠT ngưỡng deploy (p<0.05, cải thiện có ý nghĩa thống kê)

Field bịa ngoài schema, SAU khi đã áp conform_to_template (diagnostic — ai-parsany#52): baseline=261 · lora=26. ⚠ Đã kiểm thật (2026-08-20, sample 3 hồ sơ): pipeline eval này áp conform_to_template (src/parsany/label_schema.py, ĐÚNG thứ tự production extract_op.py:211) TRƯỚC khi chấm — xoá khoá thừa/sửa kiểu lệch (khoảng nửa số trên chỉ là khoá rỗng vô hại do khác quy ước ghi dữ liệu, không phải bịa). Nhưng ~nửa còn lại là bịa THẬT, TỚI TAY người dùng: model tự thêm nguyên 1 dòng bảng (vd biến_động tăng_thêm[]/chứng_khoán[]) khi hồ sơ gốc KHÔNG có dòng nào — conform_to_template không xoá được (không biết đúng bao nhiêu dòng), score_leaves cũng không trừ điểm (gold rỗng → không so khớp) — xem docstring _n_extraneous.

Accuracy từng trường (tệ→tốt theo LoRA)