A.X-patent-len4096-op

A.X-patent-len4096-op

한국어 특허 문헌을 과학기술표준분류 188개 중분류로 자동 분류하는 다중 레이블 인코더 분류기다. 한 문서가 여러 중분류에 대응할 수 있으며(고유 문서의 약 14%가 2~10개), 17개 대분류는 예측된 각 중분류 코드의 앞 두 글자로 유도한다.

skt/A.X-Encoder-base(한국어 ModernBERT, 16k 컨텍스트)를 4,096 토큰 창에서 파인튜닝했다.

정리 test 11,244건에서 micro-F1 0.8660 — 같은 데이터·같은 레시피의 512 토큰 창 기준 런(0.8588) 대비 +0.72pt이며, 문서 단위 paired bootstrap CI95 [+0.33, +1.10]으로 시드 잡음(±0.2pt) 밖이다.

사용법

import json
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer, AutoModelForSequenceClassification

REPO = "ingyoun/A.X-patent-len4096-op"
tokenizer = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForSequenceClassification.from_pretrained(REPO).eval()

# 입력은 네 필드를 공백으로 이어 붙인다(빈 필드는 건너뛴다) — 훈련과 같은 순서여야 한다.
fields = ["invention_title", "ipc_main", "abstract", "claims"]
doc = {
    "invention_title": "반도체 소자의 제조 방법",
    "ipc_main": "H01L-021/00",
    "abstract": "...",
    "claims": "...",
}
text = " ".join(str(doc[f]) for f in fields if doc[f])

enc = tokenizer(text, truncation=True, max_length=4096, return_tensors="pt")
with torch.no_grad():
    probs = torch.sigmoid(model(**enc).logits)[0]

# τ=0.5 다중 레이블 결정
pred_ids = (probs >= 0.5).nonzero().flatten().tolist()
mno = [model.config.id2label[i] for i in pred_ids]
lno = sorted({m[:2] for m in mno})       # 대분류는 중분류 코드의 앞 두 글자
print(mno, lno)

• 결정 임계값은 τ=0.5다. 아래 성능 수치는 모두 이 임계값에서 잰 값이다.
• τ=0.5에서 아무 라벨도 넘지 않는 문서가 0.83% 있다. 반드시 하나를 내야 하는 운영이라면 probs.argmax()를 대체 경로로 둔다.
• config.json의 id2label이 188개 중분류 코드(EA01 … OB02)를 담는다. 같은 매핑과 중분류→대분류 대응은 label_mappings.json에도 있다.

라벨 공간

• 중분류(Mno) 188개 — 정렬된 코드 순서가 곧 출력 열 순서다(EA01이 0번, OB02가 187번).
• 대분류(Lno) 17개 — EA EB EC ED EE EF EG EH EI LA LB LC NB NC ND OA OB.
• 대분류를 예측하는 별도 헤드는 없다. 중분류 예측에서 유도하므로 계층 비일관성이 원천적으로 생기지 않는다. 유도된 대분류 성능은 micro-F1 0.9132 · P@1 0.9397이다.

훈련

4,096은 8,192 대비 잃는 것이 토큰 1.60%뿐인데 최악 시퀀스가 절반이라 마이크로 배치를 2배로 쓸 수 있는 손익 분기점이다. 훈련 문서의 토큰 길이는 평균 796 · 중앙 629 · p99 3,619이며, 4,096을 넘는 문서는 0.8%다.

데이터

AI Hub 과학기술표준분류 대응 특허 데이터를 원천으로 한다 — https://www.aihub.or.kr. 원본 데이터의 재배포 제한 때문에 가공본은 공개하지 않으며, 전처리 절차는 아래 코드 저장소에 있다.

• 분할: train 201,616 / val 11,132 / test 11,244 문서
• documentId 단위로 재분할했다. 원 배포본은 같은 문서가 train과 val 양쪽에 나타나는 누수 위험이 있어 문서 단위로 다시 나눴다.
• 입력 필드: invention_title · ipc_main · abstract · claims를 이 순서로 공백 연결
• 라벨 충돌·중복 문서 336건을 제거한 정리본에서 훈련·평가했다(입력 문자열 동일성으로 검출한 4부류 — 라벨 충돌 89 · train 내 정확중복 199 · train-eval 누수 45 · val-test 중복 3).

성능

test 11,244건 · τ=0.5. 비교 대상은 모두 같은 문서·같은 순서에서 잰 값이다.

길이 구간별 micro-F1 — 창 확장의 이득이 긴 문서에서 커진다.

라벨 개수별 — 다중 레이블 문서가 남은 헤드룸이다.

한계

• 측정된 F1은 라벨 잡음만큼 하향 편향돼 있다. 확신 오류 분석에서 나온 잡음 후보가 전부 실제 잡음이라면 참 성능은 최대 +2.1pt 높다.
• 훈련 분포가 인위적으로 평탄화돼 있다 — 중분류당 1,300~2,600건으로, 실제 특허 출원 분포와 다르다. 실제 분포에서의 성능은 이 수치와 다를 수 있다.
• 원 데이터 배포처가 공개한 baseline F1 0.8249와 직접 비교하지 말 것. 그 값은 다른 test 집합에서 잰 top-1 예측의 weighted-F1이고, 그 데이터 분할에는 문서 누수 위험이 있다. 이 저장소의 수치는 누수를 제거한 자체 test에서 잰 것이라 같은 자가 아니다. 벤더 연속성을 위해 같은 방식으로 계산한 앵커 weighted-F1은 0.8251이지만, 이 역시 test가 달라 대면시킬 수 없다.
• 도면 이미지 등 비텍스트 입력은 다루지 않는다.

라이선스

Apache-2.0 — 베이스 모델 skt/A.X-Encoder-base의 라이선스를 따른다. 학습 데이터는 AI Hub 이용 약관의 적용을 받으며 이 저장소에 포함되지 않는다.

코드 저장소

전처리·훈련·평가·오류 분석 전 과정과 실험 기록: https://github.com/buzziru/patent_disc