bioformer-ner

Bioformer-NER: Reconhecimento de Entidades Biomédicas

Descrição

Este modelo e um finetune do bioformers/bioformer-8L para Named Entity Recognition (NER) em texto biomédico. Foi treinado para identificar entidades relacionadas a Componentes Celulares (CellComp), Complexos, Termos da Gene Ontology (GO) e Processos Biologicos (BioProc) em abstracts científicos.

O objetivo do modelo e servir como extrator ontologico em pipelines de bioinformática e descoberta científica, alimentando bases de conhecimento e auxiliando na construção de grafos causais.

Esquema de Labels

O modelo usa o formato IOBES (Inside, Outside, Beginning, End, Single) para marcar as entidades. Os labels foram normalizados a partir dos datasets originais para as seguintes categorias:

Cada categoria e subdividida em quatro prefixos IOBES:

Dados de Treino

O modelo foi treinado em uma mistura de cinco datasets biomédicos públicos, todos convertidos para o formato IOBES:

Procedimento de Treino

Uso

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

model_path = "leandronunes/bioformer-ner"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForTokenClassification.from_pretrained(model_path)
model.eval()
model.to("cuda" if torch.cuda.is_available() else "cpu")

def predict_ner(tokens):
    inputs = tokenizer(tokens, is_split_into_words=True, truncation=True,
                       max_length=512, return_tensors="pt")
    device = next(model.parameters()).device
    for key in inputs:
        inputs[key] = inputs[key].to(device)
    with torch.no_grad():
        outputs = model(**inputs)
    preds = outputs.logits.argmax(dim=-1).squeeze().tolist()
    word_ids = inputs.word_ids(batch_index=0)
    aligned, prev = [], None
    for i, word_idx in enumerate(word_ids):
        if word_idx is None: continue
        if word_idx != prev:
            label_id = preds[i] if i < len(preds) else 0
            aligned.append(model.config.id2label[label_id])
            prev = word_idx
    return aligned

tokens = ["The", "mitochondrial", "ribosome", "is", "involved", "in", "protein", "synthesis"]
labels = predict_ner(tokens)
for token, label in zip(tokens, labels):
    print(f"{token:20s} -> {label}")

Limitações

• Idioma: Treinado predominantemente em inglês científico.
• Domínio: Focado em abstracts e textos biomédicos.
• Tamanho do contexto: Limitado a 512 tokens por sequência.
• Sobreposição de entidades: O formato IOBES nao permite entidades sobrepostas.

Uso Pretendido

Extração de entidades biomédicas, alimentação de bases de conhecimento, RAG científico e auxílio em revisão de literatura.

Não e destinado a: diagnóstico clínico ou decisão médica autônoma.

Citação

@article{bioformer2022,
  title={Bioformer: A Compact BERT Model for Biomedical Text Mining},
  author={Luo, Ling and others},
  journal={arXiv preprint},
  year={2022}
}

Licença

Apache 2.0 (herdada do bioformers/bioformer-8L).