aegis-personal-pii-ner

AEGIS Personal PII NER

GPT, Gemini 등 AI 서비스 사용 시 개인정보(PII) 유출을 방지하기 위한 다국어 NER 모델. ONNX INT8 양자화 모델로, 크롬 확장 프로그램에서 onnxruntime-web으로 브라우저 내 실시간 추론합니다.

Current version: v2 | All versions

Model Details

Supported PII Types (18)

GIVENNAME, SURNAME, USERNAME, EMAIL, TELEPHONENUM, DATEOFBIRTH, CREDITCARDNUMBER, IDCARD, STREET, CITY, ZIPCODE, BUILDINGNUM, IP_ADDRESS, PASSWORD, ACCOUNTNUM, DRIVERLICENSENUM, TIME, COMPANY

Benchmark — v2 (Current)

<details> <summary>PII 유형별 상세 성능</summary> </details>

Version Comparison

Usage

Load specific version

from transformers import AutoTokenizer, AutoModelForTokenClassification

# Latest (main branch)
model = AutoModelForTokenClassification.from_pretrained("YATAV-ENT/aegis-personal-pii-ner")
tokenizer = AutoTokenizer.from_pretrained("YATAV-ENT/aegis-personal-pii-ner")

# Pin to specific version
model = AutoModelForTokenClassification.from_pretrained("YATAV-ENT/aegis-personal-pii-ner", revision="v2")
tokenizer = AutoTokenizer.from_pretrained("YATAV-ENT/aegis-personal-pii-ner", revision="v2")

ONNX Runtime (Browser / Node.js)

import { InferenceSession } from "onnxruntime-web";
const session = await InferenceSession.create("onnx/model_quantized.onnx");

Download specific version

from huggingface_hub import hf_hub_download

path = hf_hub_download(
    repo_id="YATAV-ENT/aegis-personal-pii-ner",
    filename="onnx/model_quantized.onnx",
    revision="v1"  # any tag or commit hash
)

Release Notes

v2 — 한국어 성능 대폭 개선 + 오탐률 감소

요약

v1 벤치마크 분석 결과를 기반으로, 한국어 F1을 0.68 → 0.96으로 대폭 개선하고 오탐률을 5.33% → 0.33%로 감소시킨 버전. 테스트 데이터의 비현실적 패턴 수정, 학습 데이터 다양화, 후처리 검증 강화를 동시에 진행.

v1 대비 변경사항

1. 테스트셋 수정

• 한국어 이메일 패턴 현실화: 민준.최@naver.com → [email protected] (로마자 username)
  • 실제 한국 이메일 서비스는 영문 아이디만 허용하므로, 현실적인 패턴으로 수정
• 한국어 테스트 데이터 확대: 200건 → 350건
  • IDCARD(주민등록번호), CREDITCARDNUMBER, DRIVERLICENSENUM, USERNAME, COMPANY, BUILDINGNUM, DATEOFBIRTH 등 누락 유형 추가
  • 종합 서류 시나리오 (계약서, 배송장 등 복합 PII 문서) 추가

2. 학습 데이터 보강 (Hard Negative + Augmentation)

• BUILDINGNUM Negative 3,000건: "회원 수 1,234명", "Total revenue: $4,567" 등 건물번호가 아닌 3~5자리 숫자 패턴
• 한국어 이메일 Augmentation 2,000건: [email protected], [email protected] 등 현실적 로마자 이메일
• 한국어 복합 PII Augmentation 2,000건: 이름+전화+주소가 함께 등장하는 계약서, 배송장, 이력서 시나리오

3. 후처리 검증(Validator) 강화

• BUILDINGNUM context-aware 필터링: 주변 50자에 "동", "번지", "building", "apt" 등 건물 관련 키워드가 없으면 제거
• Score threshold 필터링: BUILDINGNUM ≥0.90, STREET ≥0.80 등 저신뢰도 예측 차단
• STREET/ACCOUNTNUM validator: 최소 길이(3자) 및 포맷 검증 추가
• Span 경계 보정(correct_spans): EMAIL, IP_ADDRESS, TELEPHONENUM의 불완전한 span을 regex로 보정

4. 벤치마크 시스템 개선

• benchmark.py의 FPR 평가에 correct_spans 적용하여 실제 운영 환경과 동일한 조건으로 측정

성과

잔여 과제

• BUILDINGNUM 잔여 오탐 1건: "Step 4100 of 1747 is now complete" → BUILDINGNUM("1747", 0.974)
• ACCOUNTNUM F1 0.75 — 다양한 한국 계좌번호 패턴 학습 필요
• STREET F1 0.83 — 한국 주소 체계 특화 학습 필요
• COMPANY F1 0.86 — 한국 기업명 데이터 보강 필요 (테스트 샘플 12건으로 적음)

---

<details> <summary><b>v1 — 초기 학습 모델</b></summary>

v1 — 초기 학습 모델

요약

코드/CLI Hard Negative와 한국어 이름 Hard Negative를 포함한 첫 번째 정식 학습. 이전 실험 모델(v3~v5)을 모두 초기화하고, 정제된 데이터셋과 벤치마크 시스템을 기반으로 새로 시작한 버전.

학습 데이터

주요 특징

• 코드/CLI Hard Negative: git commit, docker run, Python/JS/SQL 코드 조각 등을 학습하여 USERNAME/PASSWORD 오탐 방지
• 한국어 이름 Hard Negative: "경제", "서울", "화요일" 등 일상 한국어 단어가 SURNAME/GIVENNAME으로 오탐되는 것 방지
• Standalone PII 패턴: 문맥 없이 숫자만 입력해도 주민번호, SSN, 신용카드 등 구조적 PII 탐지

알려진 문제

• BUILDINGNUM 오탐 심각: 4자리 숫자를 건물번호로 과잉 탐지 → FPR 5.33%의 주요 원인
• 한국어 EMAIL F1 낮음 (0.74): 테스트셋의 이메일 패턴이 비현실적 (한글 username)이었고, 학습 데이터 다양성 부족
• 한국어 전체 F1 0.68: 이름, 주소, 계좌번호 등 한국어 PII 유형별 커버리지 부족

</details>

Resources

• Full benchmark reports: benchmarks/ directory
• Detailed changelogs: changelogs/ directory

License

Apache 2.0