qwen3-4b-medical-qlora

Qwen3-4B 한국어 의료 QLoRA 어댑터

주의: 연구·교육용 실습 모델입니다. 의료기기나 진단 시스템이 아니며, 실제 진단·처방·응급상황 판단에 사용하면 안 됩니다. 출력은 틀리거나 위험할 수 있으므로 반드시 의료 전문가가 검토해야 합니다.

모델 개요

Qwen/Qwen3-4B를 한국어 의료 객관식 및 질의응답 데이터로 지도 미세조정(SFT)한 4-bit QLoRA 어댑터입니다. 전체 기반 모델이 포함된 저장소가 아니므로 추론 시 원본 Qwen3-4B를 함께 내려받습니다.

학습 데이터

GenMedGPT 데이터 5%인 273개 샘플은 별도 검증용으로 분리했습니다. 학습 중 자동 평가는 수행하지 않았습니다. 데이터에는 오류·편향·부정확한 의료 표현이 포함될 수 있습니다.

훈련 환경

주요 하이퍼파라미터

학습 결과

Step 100 체크포인트에서 재개하여 총 1,073 step까지 학습했습니다.

이 수치는 훈련 데이터 기준 지표이며 일반화 성능이나 의료적 정확도를 의미하지 않습니다.

내부 평가 결과

자체 제작한 한국어 40문항(객관식 10, 단순 상담 10, 모호한 상담 10, 응급상황 10)으로 Base, Step 100, Step 500, Final을 비교했습니다.

• Final 어댑터의 객관식 정답률은 10/10이었습니다.
• Base 모델도 동일 객관식에서 10/10이어서 지식 향상을 판별하기에는 문항이 너무 쉬웠습니다.
• 미세조정 모델은 객관식에서 번호 + 답 형태의 간결한 출력 형식을 더 일관되게 보였습니다.
• 상담·응급 문항에서는 과도한 확정 진단, 근거가 부족한 약물 제안, 부자연스러운 의학 표현, 반복, 응급 안내 불일치가 관찰됐습니다.

따라서 이 결과는 표준 벤치마크 점수가 아니며 임상 안전성이나 실사용 가능성을 입증하지 않습니다.

사용 예시

먼저 CUDA 환경에 맞는 PyTorch와 다음 라이브러리를 설치합니다.

pip install transformers peft accelerate bitsandbytes

import torch
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

adapter_id = "YOUR_ACCOUNT/YOUR_QWEN_ADAPTER_REPO"
peft_config = PeftConfig.from_pretrained(adapter_id)

tokenizer = AutoTokenizer.from_pretrained(adapter_id, use_fast=True)
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)
base_model = AutoModelForCausalLM.from_pretrained(
    peft_config.base_model_name_or_path,
    quantization_config=quantization_config,
    device_map="auto",
    dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base_model, adapter_id)

messages = [{"role": "user", "content": "비타민 B12 결핍과 관련된 빈혈은 무엇인가요?"}]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=256, do_sample=False)

answer_tokens = output[0, inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer_tokens, skip_special_tokens=True))

adapter_id를 실제 Hugging Face 어댑터 저장소 ID로 변경해야 합니다.

한계 및 권장하지 않는 사용

• 의료 진단, 처방, 복약 결정, 응급상황 분류
• 환자에게 검토 없이 직접 답변하는 서비스
• 의료 전문가를 대체하는 자동 의사결정
• 개인정보나 민감한 의료정보 입력
• 학습 범위 밖의 최신 의학 지식이 필요한 업무

안전 평가, 환각 평가, 편향 평가, 표준 의료 벤치마크, 전문가 검증을 추가하기 전에는 연구 실습 외 용도로 사용하지 마십시오.

라이선스와 출처

• 기반 모델: Qwen/Qwen3-4B — Apache 2.0
• KorMedMCQA — CC BY-NC 2.0
• GenMedGPT-5k-ko — MIT

어댑터 사용자는 기반 모델과 각 학습 데이터의 조건을 모두 확인해야 합니다. 특히 KorMedMCQA의 비영리 조건 때문에 별도 법률 검토 없이 상업적으로 사용하는 것을 권장하지 않습니다.

환경 영향

단일 RTX 5070에서 약 2시간 규모로 실행한 개인 실습입니다. 전력 소비량과 탄소 배출량은 별도로 측정하지 않았습니다.