dlp-tier2-jp-electra-auto-f2

日本語 ELECTRA Tier2 DLP 分類器

このモデルは、DLPパイプラインの第2段階で使用する日本語シーケンス分類器です。izumi-lab/electra-small-japanese-discriminator をベースに、JP2 hard-negative 統合データセットでファインチューニングしました。

Tier2の意味

ここでの「Tier2」は、モデルアーキテクチャやバージョンではなく、DLP検出パイプラインの第2段階を指す。

このモデルは、Tier 1がすでに候補として検出した、またはポリシー上追加確認が必要なテキストを入力することを前提に設計されている。一般文書全体を必ずこのモデルで直接分類する用途ではなく、ルールベースの第1次フィルタ後の精密再確認段階で使用する。

ラベル

ラベル名は作業理解のための説明用メタデータです。学習および推論コードでは整数ラベルを使用します。

用途

第1段階のDLPフィルタが検出した、または第2段階の再確認へ移行したテキストを再検査するために使用します。文または段落単位のリスク分類を対象とし、エンティティの文字範囲抽出は行いません。本番運用では、チャンク分割、しきい値、ポリシーロジックと組み合わせて使用してください。

入力と出力

入力

• UTF-8の日本語テキストを1件入力します。通常は文またはチャンク単位です。
• プロンプトテンプレートは不要です。テキストをそのまま渡します。
• 長い文書は推論前に分割してください。推奨パイプラインは 192 文字のチャンクと 48 文字の重複を使用し、各チャンクを独立して評価します。
• 各チャンクは truncation=True、padding=True、max_length=192 でトークン化します。
• タスク指示、チャットテンプレート、会話履歴は入力しません。

出力

モデルは入力チャンクごとにクラスlogitsを返します。

• logits[0]: benign クラスのスコア（ラベルID 0）
• logits[1]: leakage_risk クラスのスコア（ラベルID 1）

softmaxを適用してクラス確率を計算します。推奨される陽性クラス確率は probabilities[1] です。この値が判定しきい値以上であれば該当チャンクを leakage_risk、それ未満であれば benign に分類します。

複数チャンクの文書では、プロジェクトパイプラインがチャックスコアの最大値を文書リスクスコアとして使用し、同じしきい値を適用します。モデル自体は複数チャンクを集約しません。

モデルの読み込みと使用

• 必要パッケージ: transformers、torch
• トークナイザーと分類モデルは同じリポジトリまたはローカルディレクトリから読み込みます。
• 標準の AutoTokenizer と AutoModelForSequenceClassification インターフェースを使用し、trust_remote_code やカスタムPythonコードは不要です。
• 推論前に model.eval() を呼び出し、本番推論ではgradient計算を無効化します。
• 単一例の推奨設定は truncation=True、padding=True、max_length=192 です。
• HF Hubから読み込む場合は querypieai/dlp-tier2-jp-electra-auto-f2 リポジトリIDを使用します。オフライン使用時はこのモデルカードを含むローカルディレクトリパスを使用します。

推奨推論設定

• 判定しきい値: 陽性クラス確率で 0.30
• 最大シーケンス長: 192
• パイプラインのチャンクサイズ: 192
• パイプラインの重複: 48

しきい値は検証データで recall_min=0.9、false_positive_rate_max=0.2 の制約付きF2目的で選択しました。しきい値はモデル較正パラメータではなく、確率計算後に適用するポリシー決定です。

学習設定

• ベースモデル: izumi-lab/electra-small-japanese-discriminator
• 学習データ: JP2 hard-negative 統合データセット
• データ公開可否: 非公開。このリポジトリには学習データは含まれません。
• 学習/検証/テスト件数: 25,765 / 3,725 / 3,753件
• 各分割の陽性（leakage_risk）比率: 学習 7.00%、検証 10.12%、テスト 10.02%
• テキスト重複除去: NFKC、空白正規化、ケースフォールディングによるSHA-256
• 分割間の正規化テキストおよび会話単位の漏れ検査: すべて 0
• 最適化trial数: 12
• 目的: recallおよびfalse positive rate制約付きF2
• 学習率: 4.603556332212795e-05
• バッチサイズ: 8
• エポック: 6
• 最大長: 192
• weight decay: 0.0
• warmup ratio: 0.0

評価

しきい値 0.30 におけるテスト性能:

選択されたしきい値と最終構成における検証性能:

検証とテストの指標は、このプロジェクトのDLP PoC構成では比較的安定しています。

推論例

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

model_id = "querypieai/dlp-tier2-jp-electra-auto-f2"
threshold = 0.30

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()

text = "ここに確認する文章を入力します。"
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192, padding=True)

with torch.no_grad():
    logits = model(**inputs).logits

positive_probability = torch.softmax(logits, dim=-1)[0, 1].item()
prediction = "leakage_risk" if positive_probability >= threshold else "benign"
print({"score": positive_probability, "prediction": prediction})

制限

• このモデルは二値リスク分類器であり、PIIエンティティのオフセット情報を返しません。
• 性能はプロジェクトのJP2検証/テストセットで測定されています。本番環境ではドメイン、文体、ポリシーによって変わる可能性があります。
• 通常のビジネスメッセージ、難読化された一部のみの識別子で誤検出が発生する可能性があります。
• 通常と異なる識別子や変更された難読化パターンで見逃しが発生する可能性があります。
• 重要な判断には人間による確認または追加の審査段階を併用してください。