privacy-filter-br

privacy-filter-br

BERTimbau fine-tune para detecção de PII (Personally Identifiable Information) em português brasileiro. 22 categorias, BIOES tagging (89 labels).

Latest: v8.1

main aponta sempre pra última versão estável. Hoje: v8.1 (templates derivados de docs públicos BR fecham o gap de detecção de data em real-world — Phase 1 CVM date F1 0 → 0.75 overlap).

Uso

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

# Latest (recomendado)
tok = AutoTokenizer.from_pretrained("lucianfialho/privacy-filter-br")
model = AutoModelForTokenClassification.from_pretrained("lucianfialho/privacy-filter-br")
ner = pipeline("token-classification", model=model, tokenizer=tok, aggregation_strategy="simple")

# Pin numa versão específica
model = AutoModelForTokenClassification.from_pretrained(
    "lucianfialho/privacy-filter-br",
    revision="v8.1",  # ou "v3" pra legacy baseline
)

Produção: use junto com br-pii-guardrail que aplica boundary merger no output do modelo — fix crítico pra real-world docs onde sub-token fragmentation derruba exact-match F1 pra zero.

Versões disponíveis

v4, v5, v6, v7, v8 não estão acessíveis nesse repo — iterações intermediárias com problemas conhecidos. v4 teve distribution-shift catastrófico em cross-holdout. v7 fechou o gap de boundary fragmentation (exact F1 0→0.90) mas date detection ficou em 0/30 no CVM. v8 fixou a instrumentação do labeler (data_nasc registrada) mas modelo overfitou no phrasing do rewriter ("nascido(a) em DATE, filho(a)" vs CVM "nascido em DATE, exerce profissão"). v8.1 fecha esse gap.

Phase 1 CVM real benchmark (30 docs)

Com boundary merger (br-pii-guardrail aplica automaticamente):

Sintético per-category (eval holdout pós-treino): todas as 22 cats com F1 entre 0.93 e 1.00. Date sintético: 0.9616, address sintético: 0.9375.

Categorias detectadas (22)

private_person, private_cpf, private_cnpj, private_rg, private_pis, private_cnh, private_titulo_eleitor, private_ie, private_certidao, private_email, private_phone, private_address, private_date, private_url, account_number, private_customer_id, private_order_id, private_invoice_number, private_tracking_code, private_transaction_id, private_client_revenue, secret

Limitações conhecidas

• Date exact F1 ainda baixo (0.31 em CVM): modelo detecta a data mas boundary precisa polir. Overlap F1 0.75 já viável pra redaction.
• Address não mensurável em Phase 1 v1: CVM não tem street addresses nos cadastros. Phase 1 v2 (issue #1) trará fontes com address gold real.
• Schema não cobre identificadores transacionais BR: CMC7, linha digitável de boleto, chave NF-e, chave PIX EVP, agência+conta bancária. Schema expansion tracked em issue #2.

Recursos

• Source: https://github.com/lucianfialho/privacy-filter-br
• Library wrapper: br-pii-guardrail 0.1.6 — adiciona boundary merger + regex/checksum recognizers como complemento ao NER
• Demo: Space
• Dataset pipeline + modelo evolution: documentado em research/wiki/questions/model-evolution.md

Citação

Se usar em pesquisa, cite o repo: github.com/lucianfialho/privacy-filter-br