ko-pii-ner-roberta-base

ko-pii-ner-roberta-base

한국어 개인정보(PII) 탐지용 토큰 분류 모델입니다. 한국 고유 식별자(주민등록번호·외국인등록번호·여권번호·운전면허번호)와 조사 결합 경계를 정면으로 다루도록 학습했습니다.

• 베이스: klue/roberta-base
• 데이터: seongyeon1/ko-pii-ner-100k
• 라벨: 20종 3티어 / BIO 41 클래스

성능

인용해야 할 숫자는 F5 0.9344입니다. KDPII가 공식 지정한 test split 2,006건으로, 학습·검증 어디에도 들어가지 않은 실제 한국어 발화입니다.

F5는 recall에 25배 가중한 F-beta입니다. PII 탐지에서는 미탐이 오탐보다 훨씬 치명적이라 이 지표를 주 지표로 씁니다.

내부 test 전체 수치를 인용하지 마세요

전체 F5 0.9937은 test의 54%를 차지하는 합성 구간(F1 0.9994)이 만든 값입니다. 합성 구간과 실제 발화 사이에 0.07의 격차가 있고, 이는 베이스 모델을 KoELECTRA로 바꿔도 동일하게(오히려 0.098로 더 크게) 재현됩니다. 합성 데이터로 학습한 PII 모델을 자기 분포에서 평가하면 안 된다는 근거입니다.

베이스 모델 비교

동일 데이터·동일 하이퍼파라미터(lr 2e-5, 1 epoch, batch 32)로 학습한 결과입니다.

합성 구간에서는 차이가 거의 없고 실제 발화에서만 3포인트 벌어집니다. 다만 ELECTRA 계열은 통상 더 높은 학습률(3e-5~5e-5)을 선호하므로, 이 격차가 KoELECTRA의 최선이라고 단정할 수는 없습니다.

Hard negative

무-PII 문서 580건에서 오탐 0건 / 오탐 토큰 0개. recall을 25배 가중하면 모델이 "숫자 뭉치는 일단 PII"로 붕괴하기 쉬운데, 학습 데이터에 hard negative(주문번호 20260831-001234, 대표번호 1588-1588, 버전 10.0.1.5 등)를 심어 이를 막았습니다. KoELECTRA도 동일하게 오탐 0건입니다.

엔티티별 내부 test 성능

Tier 1 네 종은 포맷이 정형이라 F1 0.998 이상입니다. 가장 약한 라벨은 표층 패턴 없이 문맥으로만 갈리는 USER_ID와 AFFILIATION입니다.

라벨 체계 (20종 3티어)

Tier 1 — 고유식별정보 (개인정보보호법 시행령 §19) RRN · FOREIGNER_REG_NUM · PASSPORT_NUM · DRIVER_LICENSE_NUM

Tier 2 — 직접식별자 PERSON_NAME · PHONE_NUM · EMAIL · ADDRESS · ACCOUNT_NUM · CARD_NUM · BIZ_REG_NUM · USER_ID · URL_PERSONAL · PLATE_NUM · IP_ADDRESS

Tier 3 — 준식별자·민감정보 DOB · AGE · AFFILIATION · POSITION · SENSITIVE_ATTR

사용법

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="seongyeon1/ko-pii-ner-roberta-base",
    aggregation_strategy="simple",
)

text = "홍길동 고객님, 주민등록번호 900101-1234567 확인되었습니다."
for ent in ner(text):
    print(ent["entity_group"], ent["word"], round(ent["score"], 3))

마스킹:

def mask(text: str) -> str:
    spans = sorted(ner(text), key=lambda e: e["start"], reverse=True)
    for e in spans:
        text = text[: e["start"]] + f"[{e['entity_group']}]" + text[e["end"] :]
    return text

mask("김철수씨 연락처는 010-9876-5432이고 이메일은 [email protected]입니다.")
# '[PERSON_NAME]씨 연락처는 [PHONE_NUM]이고 이메일은 [EMAIL]입니다.'

조사 앞에서 span이 정확히 끊기고, 주문번호·대표번호 같은 PII 유사 문자열은 탐지하지 않습니다.

학습 설정

한계

• 1 epoch·base 모델 결과입니다. klue/roberta-large와 다중 epoch은 미실시입니다.
• 베이스라인 비교가 없습니다. 규칙 기반 탐지기나 다국어 PII 모델과의 비교는 아직 하지 않았습니다.
• 평가는 KDPII 대화체 하나뿐입니다. 사람이 주석한 실제 업무 문서 평가셋이 없어 법률 문서·SNS·음성 전사 등 다른 도메인 성능은 알 수 없습니다.
• 학습 데이터의 도메인은 고객상담·사내메일·의료·금융·공공민원·채용 6종입니다.
• Tier 3(준식별자)은 문맥 의존적이라 라벨 경계가 Tier 1·2보다 모호합니다.

실무 투입 전에 대상 도메인의 실제 텍스트로 반드시 재평가하세요.

라이선스와 귀속

이 모델은 CC-BY-SA-4.0입니다. 베이스 모델 KLUE가 CC-BY-SA-4.0이고 ShareAlike 조항이 파생물에 전파되기 때문입니다. 이 모델을 추가 학습해 배포하는 경우에도 CC-BY-SA-4.0을 유지해야 합니다.

원저작자 귀속:

• KLUE — KLUE: Korean Language Understanding Evaluation, arXiv:2105.09680, KLUE-benchmark/KLUE. CC-BY-SA-4.0
• KDPII — KDPII: A New Korean Dialogic Dataset for the Deidentification of Personally Identifiable Information, IEEE Access, 2024. DOI 10.5281/zenodo.10968609. CC-BY-4.0
• ai4privacy — pii-masking-openpii-1.5m, Copyright (c) 2026 Ai Suisse SA. CC-BY-4.0