Downloads · 30 days
19
29% of all-time downloads
gilbertoag2007/qwen3-0.6b-assistente-medico-ptbr-lora-fiap-gp-86
qwen3-0.6b-assistente-medico-ptbr-lora-fiap-gp-86 is a text generation model from gilbertoag2007. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
Adaptador LoRA experimental para o modelo Qwen/Qwen3-0.6B, ajustado por Supervised Fine-Tuning (SFT) para geração de respostas estruturadas em português brasileiro a partir de perguntas e contextos médicos.
Downloads · 30 days
19
29% of all-time downloads
All-time downloads
65
Public
Repo size
20.6 MB
Likes
0
Public
Click a slice to open those files.
.json11.4 MB · 55%
From the Hugging Face model README
Adaptador LoRA experimental para o modelo
Qwen/Qwen3-0.6B, ajustado por
Supervised Fine-Tuning (SFT) para geração de respostas estruturadas em
português brasileiro a partir de perguntas e contextos médicos.
Este repositório contém apenas o adaptador PEFT/LoRA e o tokenizer utilizado no treinamento. Os pesos do modelo-base não estão incluídos e são necessários para executar a inferência.
Aviso: este modelo é um artefato acadêmico e experimental. Ele não foi validado como dispositivo médico e não deve ser usado para diagnóstico, prescrição, definição de tratamento, triagem de emergência ou qualquer decisão clínica sem revisão de um profissional de saúde qualificado.
| Propriedade | Valor |
|---|---|
| Modelo-base | Qwen/Qwen3-0.6B |
| Tipo | Adaptador PEFT/LoRA para modelo causal de linguagem |
| Idioma principal | Português brasileiro |
| Tarefa | Geração de texto em contexto médico |
| Método de ajuste | Supervised Fine-Tuning (SFT) com LoRA |
| Frameworks | Transformers, PEFT e TRL |
| Dispositivo de treinamento | CPU |
| Precisão de treinamento | torch.float32 |
| Licença | Apache 2.0 |
O adaptador foi desenvolvido para fins acadêmicos, incluindo:
O modelo deve receber um contexto suficiente para responder. Ele não substitui fontes clínicas atualizadas, protocolos institucionais nem avaliação humana.
Não utilize este modelo para:
O experimento utilizou uma amostra de 10% do conjunto de dados disponível no projeto. Depois das etapas de preparação e filtragem, foram usados 1.303 exemplos, divididos de forma reproduzível com semente 42:
| Split | Exemplos | Proporção aproximada |
|---|---|---|
| Treino | 1.042 | 80% |
| Validação | 130 | 10% |
| Teste | 131 | 10% |
O conjunto de dados não é distribuído com este adaptador. O pipeline do projeto inclui detecção e anonimização de PII em campos textuais selecionados. Esse tratamento reduz riscos, mas não constitui garantia absoluta contra presença ou memorização de PII/PHI. Uma revisão específica de privacidade é necessária antes de disponibilizar o adaptador publicamente.
Os registros com quantidade de tokens igual ou superior ao limite configurado foram removidos antes da divisão dos dados. Essa filtragem pode reduzir a representação de casos mais longos ou complexos.
Cada exemplo foi convertido em uma conversa contendo:
system com as instruções da tarefa;user com papel do solicitante, contexto da solicitação, contexto
médico anonimizado e pergunta anonimizada;assistant com a resposta esperada.O treinamento utilizou pares conversacionais prompt e completion, com a
perda calculada somente sobre a resposta esperada (completion_only_loss=True).
O modo de raciocínio do Qwen3 foi desativado com enable_thinking=False.
| Hiperparâmetro | Valor |
|---|---|
| Épocas | 3 |
| Learning rate | 1e-4 |
| Tamanho do lote por dispositivo | 1 |
| Acumulação de gradiente | 8 |
| Comprimento máximo | 512 tokens |
| Otimizador | adamw_torch |
LoRA rank (r) | 16 |
| LoRA alpha | 32 |
| LoRA dropout | 0,05 |
| Módulos-alvo | q_proj, v_proj |
| Bias | none |
| Semente | 42 |
Foram ajustados 2.293.760 dos 598.344.000 parâmetros do modelo, equivalentes a aproximadamente 0,383% do total.
Os resultados abaixo foram medidos no split de validação do experimento com 10% dos dados:
| Métrica | Modelo-base | Adaptador LoRA |
|---|---|---|
| Loss de validação | 2,5002 | 0,6778 |
| Perplexidade | aproximadamente 12,18 | 1,97 |
| Acurácia média por token | 52,12% | 86,41% |
| Entropia | 1,5878 | 0,6783 |
Outras métricas do treinamento:
| Métrica | Valor |
|---|---|
| Loss médio de treinamento | 0,7582 |
| Melhor loss de validação | 0,6778 |
| Passos de treinamento | 393 |
| Tempo de treinamento | aproximadamente 10h29min |
Essas métricas avaliam predição de tokens e não comprovam correção clínica. A qualidade das respostas deve ser avaliada separadamente por profissionais qualificados, considerando relevância clínica, alucinação, estrutura e eventual exposição de PII/PHI.
| Split | Mediana | Percentil 95 | Máximo |
|---|---|---|---|
| Treino | 450 | 503 | 511 |
| Validação | 458 | 498 | 508 |
| Teste | 447 | 500 | 508 |
Nenhum dos exemplos selecionados ultrapassou o limite de 512 tokens.
Instale as dependências:
python -m pip install "transformers>=4.56.2" "peft>=0.20.0" torch
Substitua gilbertoag2007 pelo namespace do repositório no Hugging
Face Hub:
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
modelo_base_id = "Qwen/Qwen3-0.6B"
adaptador_id = "gilbertoag2007/qwen3-0.6b-assistente-medico-ptbr-lora-fiap-gp-86"
tokenizer = AutoTokenizer.from_pretrained(adaptador_id)
modelo_base = AutoModelForCausalLM.from_pretrained(
modelo_base_id,
torch_dtype=torch.float32,
)
modelo = PeftModel.from_pretrained(modelo_base, adaptador_id)
modelo.eval()
mensagens = [
{
"role": "system",
"content": "Voce e um assistente especializado em apoio clinico. "
"Responda somente a solicitacao, sem repetir o papel, o prontuario "
"ou a pergunta. Use exatamente as secoes: Resposta, Consideracoes "
"clinicas, Conduta/Orientacao e Limitacoes.",
},
{
"role": "user",
"content": "Papel do solicitante: <papel do usuário que está fazendo a pergunta> "
"Contexto da solicitacao: <contexto relacionado a pergunta> "
"Prontuario: <Prontuário com informações médicas> "
"Pergunta: <pergunta com dados de PII anonimizados> "
prompt = tokenizer.apply_chat_template(
mensagens,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False,
)
entradas = tokenizer(
prompt,
return_tensors="pt",
truncation=True,
max_length=512,
)
with torch.inference_mode():
tokens_gerados = modelo.generate(
**entradas,
max_new_tokens=384,
do_sample=False,
pad_token_id=tokenizer.eos_token_id,
)
inicio_resposta = entradas["input_ids"].shape[1]
resposta = tokenizer.decode(
tokens_gerados[0][inicio_resposta:],
skip_special_tokens=True,
)
print(resposta.strip())
Como este repositório contém somente o adaptador, o carregamento também baixa
ou utiliza do cache os pesos do modelo-base Qwen/Qwen3-0.6B.
Todo uso envolvendo pessoas reais deve preservar confidencialidade, finalidade, necessidade e controle de acesso. As respostas precisam ser revisadas por um profissional habilitado. Antes de qualquer implantação, recomenda-se executar avaliação clínica cega, análise de privacidade, testes de segurança, investigação de vieses e monitoramento contínuo.
Este adaptador foi treinado sobre o
Qwen/Qwen3-0.6B, distribuído sob a
licença Apache 2.0. O usuário também é responsável por verificar direitos,
restrições e requisitos aplicáveis aos dados e ao cenário em que pretende usar
este artefato.
Caso este artefato seja utilizado em trabalho acadêmico, cite o projeto e o modelo-base Qwen3. Preencha os dados abaixo antes da publicação:
@misc{qwen3_medical_ptbr_lora,
title = {Qwen3-0.6B Medical PT-BR LoRA},
author = {Grupo 86 FIAP},
year = {2026},
howpublished = {Hugging Face Hub},
url = {https://huggingface.co/gilbertoag2007/qwen3-0.6b-assistente-medico-ptbr-lora-fiap-gp-86}
}
Preencha antes da publicação:
Equipe 86 - FIAP