privacy-counsel-ko-8b

privacy-counsel-ko-8b (v4-rebalanced)

Korean PIPA (Personal Information Protection Act) consulting LoRA adapter for Qwen3-8B, trained on 9,009 curated legal Q&A samples with 5-stage validation pipeline.

한국 개인정보 보호법(PIPA) 실무 Q&A에 최적화된 Qwen3-8B 기반 LoRA 파인튜닝 모델입니다. 답변은 [판단] → [법적 근거] → [실무 조치] → [추가확인질문] 4단 구조를 따르며, [법적 근거] 내부에 원칙 → 조건(트리거) → 예외 3단 구조를 사용합니다.

Best config: temperature=0.5, repetition_penalty=1.0 Score: 14.38 / 15 (5축), Gold 144/150 (96.0%) Evaluation: 2026-02-27 · 150-question gold set · 5-axis scoring v2.1

---

주요 특징

• Qwen3-8B 기반 LoRA SFT (r=64, α=128, 7개 target modules)
• 개인정보보호법 특화: 9,009건 한국어 법률 Q&A 데이터로 학습 (품질 기반 리밸런싱)
• 5단 자동 검증 파이프라인: 구조/조문/수치/금지패턴/도메인격리 자동 검수
• 원칙-조건-예외 3단 구조: 법적 판단의 조건부 뉘앙스를 체계적으로 전달
• 상용 API 대비 압도적 우위: GPT-4o(7.99) 대비 +6.39점 (task-specific)

---

성능

5축 15점 평가 (150건 골드셋)

¹ Claude Opus 4.6: 채점 기준의 상한(reference oracle). 비교 대상이 아닌 참조 기준. ² 상용 API 모델: 본 평가는 한국 개인정보보호법 도메인 전문성과 특정 출력 형식을 동시에 요구하는 task-specific 벤치마크입니다. 내부구조 0점은 원칙/조건/예외 패턴이 프롬프트만으로 출력되지 않기 때문이며, 해당 모델들의 범용 능력과 직접 비교할 수 없습니다.

채점 기준 (5축 v2.1)

Gold: ≥12.5/15 AND 전 게이트 통과 · Silver: ≥11.5 · Bronze: ≥10.0 내부 개발 과정에서는 3축 9점(구조/정확/실무) 스케일도 병행 운용하며, 두 스케일 간 직접 환산 관계는 없습니다.

v4-rebalanced 도메인별 성능

³ 기타: 파기, 안전조치, CCTV, 정보주체 권리, ISMS-P, 거버넌스, 벌칙 등 포함

품질 메트릭 (모델 출력 기준)

시행령%: 관련 시행령 동시 인용 비율, 다만%: 조건부 표현("다만,") 포함 비율, 내부구조%: 원칙/조건/예외 3단 포함 비율, 3단계%: 즉시/단기/재발방지 구분 비율

---

사용법

설치

pip install transformers torch accelerate
# LoRA adapter 직접 로드 시:
pip install peft

추론 (Merged 모델)

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cywellai/privacy-counsel-ko-8b"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

SYSTEM_PROMPT = """당신은 대한민국 개인정보보호법 전문 상담사입니다.
질문에 대해 [판단], [법적 근거], [실무 조치], [추가확인질문] 형식으로 구조화된 답변을 제공합니다.
모든 답변은 관련 법조항을 정확히 인용하고, 조건부 표현을 사용하여 법적 판단의 뉘앙스를 전달합니다."""

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "소규모 온라인 쇼핑몰에서 고객 이름과 전화번호를 수집하려 합니다. 어떤 절차가 필요한가요?"},
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=1500,
    temperature=0.5,
    top_p=0.9,
    repetition_penalty=1.0,
    do_sample=True,
)

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

추론 (LoRA 어댑터)

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_name = "Qwen/Qwen3-8B"
adapter_name = "cywellai/privacy-counsel-ko-8b-lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_name, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(base_model, adapter_name)

# 이후 동일한 방식으로 추론

vLLM 추론 (권장)

from vllm import LLM, SamplingParams

llm = LLM(
    model="cywellai/privacy-counsel-ko-8b",
    trust_remote_code=True,
    max_model_len=2048,
    gpu_memory_utilization=0.5,
)

sampling = SamplingParams(temperature=0.5, repetition_penalty=1.0, max_tokens=1500)

# tokenizer.apply_chat_template()으로 프롬프트 구성 후
outputs = llm.generate([prompt], sampling)
print(outputs[0].outputs[0].text)

추론 파라미터 가이드

---

출력 형식

아래 시스템 프롬프트와 함께 사용할 때 4단 구조가 안정적으로 출력됩니다. 시스템 프롬프트 없이도 4섹션이 출력되는 경우가 있으나, 최적 결과를 위해 시스템 프롬프트 사용을 권장합니다.

[판단]
개인정보 수집 시 정보주체에게 고지해야 하는 필수 항목은 수집 목적, 수집 항목,
보유 및 이용 기간, 동의 거부권 및 거부 시 불이익 등을 포함해야 합니다.

[법적 근거]
• 원칙: 개인정보 보호법 제15조(개인정보의 수집·이용)에 따라 개인정보를
  수집하거나 이용할 때 정보주체에게 고지해야 합니다.
• 조건(트리거): 수집 목적, 수집 항목, 보유 및 이용 기간, 동의 거부권 및
  거부 시 불이익 등의 내용을 명확히 고지해야 합니다.
  (개인정보 보호법 제15조, 시행령 제17조)
• 예외/주의: 다만, 법률에 특별한 규정이 있는 경우나 정보주체의 권리·이익을
  침해하지 않는 범위에서 고지를 생략할 수 있습니다.

[실무 조치]
• 즉시: 수집 목적, 항목, 보유기간, 동의 거부권 등의 내용을 문서화하여 준비
• 단기: 정보주체에게 해당 내용을 명확히 고지하고 동의를 받음
• 재발방지: 개인정보 수집 및 이용 절차를 정기적으로 검토하고 필요 시 개선

[추가확인질문]
• 수집하려는 개인정보의 종류와 목적은 무엇인가요?
• 수집한 개인정보의 보유 및 이용 기간은 어떻게 설정되어 있나요?
• 동의 거부 시 정보주체에게 발생할 수 있는 불이익은 무엇인가요?

---

학습 상세

데이터 리밸런싱 전략

v4-full 학습 데이터(14,088건)에서 품질 기반 필터링과 72B 교사 모델 합성을 거쳐 9,009건으로 리밸런싱했습니다.

모델 개요

LoRA 설정

학습 파라미터

학습 데이터 구성

train.jsonl (9,009건)
├── v3_final 원본 (품질 필터 통과): 5,213건 (57.9%)
├── Phase3-v2 합성 (72B 교사 모델): 1,835건 (20.4%)
├── Phase3-v3 합성 (72B 교사 모델): 1,524건 (16.9%)
└── v4_500 (정확도 타겟 보강):       437건 ( 4.9%)

데이터 파이프라인:

1. Phase 1+2 — v4-full 14,088건에서 4개 품질 지표로 스코어링 + 거버넌스 다운샘플 → 6,595건 유지
2. Phase 3 — Qwen2.5-72B-Instruct(FP8, vLLM)로 부족 도메인 합성 → 3,743건 생성
3. Phase 4 — 합산(10,338건) + 약칭 정규화
4. Phase 5 — 마크다운 오염 제거, 중국어 잔류 삭제, 중복 제거 → 최종 9,009건

학습 곡선

데이터 품질 관리

---

아키텍처

Architecture: Qwen3ForCausalLM
Hidden Size: 4,096
Num Layers: 36
Attention Heads: 32 (GQA, KV Heads: 8)
Head Dimension: 128
Intermediate Size: 12,288
Activation: SiLU
Vocab Size: 151,936
Max Position Embeddings: 40,960
RoPE Theta: 1,000,000
Dtype: bfloat16

---

모델 개발 이력

본 모델은 다수의 반복 학습을 거친 최종 산출물입니다. 모든 버전은 Qwen3-8B 원본에서 독립적으로 LoRA 학습되었습니다.

모델 진화 추이

---

관련 리소스

• LoRA 어댑터: cywellai/privacy-counsel-ko-8b-lora (667MB, PEFT 로드)
• 베이스 모델: Qwen/Qwen3-8B
• 개인정보 보호법: 법령 전문 (국가법령정보센터)
• 개인정보보호위원회: PIPC 공식 사이트

---

제한 사항

법적 정확도:

• 5축 법조항 점수 2.66/3 — 최대 병목 축. MIN_CORE 정합 + 시행령 동시 인용이 부족한 경우 존재
• 모델 출력의 시행령 동시 인용률 67% — 나머지 33%는 본법만 인용
• 모델 출력의 조건부 표현("다만,") 포함률 95% — 잔여 5%에서 단정적 표현 발생 가능
• 도메인별 편차: 제3자_제공(시행령 48%)이 가장 낮고, 기타(85%)가 가장 높음

입력 처리:

• 비표준 약칭(예: "개보법") 사용 시 표준 용어로 정규화 필요
• 학습 데이터 기준 시점 이후 법령 개정 사항은 미반영

개선 로드맵:

1. 시행령 동시 인용률 67% → 85%+ (P0)
2. 법조항 점수 2.66 → 2.85+ (P1)
3. 기타 도메인(파기/ISMS-P 등) 세분화 학습 (P2)

---

하드웨어

• 학습: NVIDIA H200 143GB × 1, ~70분 (4,240초)
• 추론 (최소): GPU VRAM 16GB 이상 (BF16 기준)
• 추론 (권장): GPU VRAM 24GB 이상

---

평가 조건

---

Disclaimer

본 모델은 법률 자문을 대체하지 않습니다.

이 모델의 출력은 개인정보보호 실무 참고용으로만 사용해야 하며, 법적 구속력이 있는 판단이나 자문을 구성하지 않습니다. 고위험 의사결정(유출 통지·신고, 국외이전 계약, 과징금 대응 등)은 반드시 법률 전문가의 검토를 거쳐야 합니다.

개인정보 보호법 및 관련 법령은 개정될 수 있으며, 본 모델의 학습 데이터가 최신 법령을 완전히 반영하지 못할 수 있습니다.

---

Safety & Privacy

• PII 입력 최소화: 실명·연락처·주민번호 등은 입력하지 마세요
• 사례 데이터 가명/마스킹: 로그·공유·재학습 시 동일 원칙 적용
• 출력 검증 권장: 고위험 의사결정은 내부 체크리스트로 재검토

---

Changelog

---

Citation

@misc{privacy-counsel-ko-8b-v4,
  title   = {privacy-counsel-ko-8b (v4-rebalanced):
             A Fine-tuned Qwen3-8B for Korean PIPA Consulting},
  author  = {CywellAI},
  year    = {2026},
  note    = {LoRA SFT on Qwen3-8B for Korean Personal Information Protection Act Q\&A.
             5-axis 15-point evaluation: 14.38/15, Gold 96\% on 150-question gold set.
             Outperforms GPT-4o, Solar Pro, Gemini Pro on task-specific benchmark.},
  url     = {https://huggingface.co/cywellai/privacy-counsel-ko-8b}
}

---

License

Apache 2.0 — Qwen3 라이선스 준수.