koelectra-search-7-base

koelectra-search-7-base

한국어 사용자 발화를 7가지 검색 기능 중 하나로 라우팅하는 의도 분류기입니다. monologg/koelectra-base-v3-discriminator를 파인튜닝했으며, LLM 챗봇 앞단에서 매 사용자 턴마다 호출되는 용도로 설계됐습니다.

라벨 (7-class, 단일 라벨)

경계 규칙: 주제가 아니라 행위로 가릅니다. 같은 주제라도 "블랙홀 사진 보여줘"→images, "블랙홀 다큐 틀어줘"→videos, "블랙홀이 어떻게 생기는지 설명해줘"→chat, "블랙홀 최신 관측 결과 검색해줘"→text. URL이 포함돼도 본문 추출 요구가 아니면 extract가 아닙니다.

사용법

import re
import torch
import torch.nn.functional as F
from transformers import AutoModelForSequenceClassification, AutoTokenizer

_CORE = re.compile(r"[가-힣a-zA-Z0-9]")


class IntentRouter:
    def __init__(self, model_id="MelissaJ/koelectra-search-7-base", device=None):
        self.device = device or ("cuda" if torch.cuda.is_available() else "cpu")
        self.tokenizer = AutoTokenizer.from_pretrained(model_id)
        self.model = (
            AutoModelForSequenceClassification.from_pretrained(model_id)
            .to(self.device)
            .eval()
        )
        self.id2label = {int(k): v for k, v in self.model.config.id2label.items()}
        self.route("워밍업")  # 첫 호출 지연 제거

    @torch.no_grad()
    def route(self, text: str) -> dict:
        # 완성형 한글/영숫자가 없으면 노이즈("ㅋㅋ", "?", "...") → 모델 없이 chat 폴백.
        # 길이 기준(len < 3 등)으로 바꾸면 "환율" 같은 정상 2글자 질의가 오라우팅됨.
        if not _CORE.search(text.strip()):
            return {"label": "chat", "confidence": 1.0, "rule": "noise_guard"}
        enc = self.tokenizer(
            text, truncation=True, max_length=64, return_tensors="pt"
        ).to(self.device)
        probs = F.softmax(self.model(**enc).logits[0], dim=-1)
        idx = int(probs.argmax())
        return {
            "label": self.id2label[idx],
            "confidence": round(float(probs[idx]), 4),
            "rule": "model",
        }


router = IntentRouter()
router.route("지금 원달러 환율 얼마야")
# {'label': 'text', 'confidence': 0.986, 'rule': 'model'}

성능

• 합성 test셋(443건): accuracy 0.9955 / f1_macro 0.9956
• val f1_macro (시드 42/43/44 평균): 0.991 ± 0.002
• 경계 케이스 sanity 18문장(다의어·부정 표현 등): 18/18

⚠️ 위 수치는 학습 데이터와 동일 분포의 합성 데이터 기준입니다. 실제 사용자 발화에 대한 성능은 별도 측정이 필요하며, 이보다 낮을 수 있습니다.

지연시간 (단건, batch=1, torch 2.10 실측):

학습 정보

• 베이스: monologg/koelectra-base-v3-discriminator
• 데이터: 합성 한국어 발화 4,424건 (train 3,537 / val 444 / test 443, 층화분할)
• 키워드 지름길 방지를 위한 다의어 반례 포함 (예: "보도블록 사진"→images, "커피 추출 원리"→chat, "에어컨 틀어줘"→chat)
• 하이퍼파라미터: lr 3e-5 · batch 32 · max 10 epochs (early stopping, patience 2) · warmup 10% · weight decay 0.01 · max_length 64 · class-weighted cross-entropy
• 환경: transformers 5.14 / torch 2.10 / fp16

한계

1. confidence가 캘리브레이션돼 있지 않습니다. 오분류 시에도 0.9 이상으로 확신하는 경우가 있어, 임계값 기반 폴백 로직에 사용하면 안 됩니다.
2. 멀티 의도 미지원. "사진 보여주고 기사도 찾아줘"는 한 라벨만 나옵니다.
3. 전량 합성 데이터로 학습. 실사용 발화 분포와 다를 수 있습니다.
4. 노이즈 입력(자음만, 기호만 등)은 모델이 아니라 위 사용법의 noise_guard 규칙으로 걸러야 합니다.