WeIN_bio_Qwen3-8B

WeIN_bio_Qwen3-8B

한국어 의료/바이오 도메인에 특화된 Qwen3-8B 기반 LoRA 파인튜닝 모델입니다. KorMedMCQA 벤치마크에서 69.06% 정확도를 달성하여, 목표 65%를 초과 달성했습니다.

Model Details

Model Description

• Base Model: Qwen/Qwen3-8B
• Model Type: Causal Language Model (LoRA Adapter)
• Fine-tuning Method: SFT (Supervised Fine-Tuning) with LoRA via TRL
• Language: Korean (ko)
• License: Apache-2.0
• Domain: 의료/바이오 (Medical/Bio)
• Adapter Size: 167MB (safetensors)

Model Sources

• Base Model: Qwen/Qwen3-8B
• LoRA Paper: arXiv:2106.09685
• Benchmark: KorMedMCQA (arXiv:2403.01469)

Training Details

Training Data

• Dataset: 한국어 의료 SFT 데이터 (Korean Medical SFT Dataset)
• Training Samples: 35,882
• Format: Instruction-following format with Chain-of-Thought reasoning
• Domain Coverage: 치과, 의학, 간호학, 약학, 약사 시험 문제 기반
• Data Sources: AIHub 의료 데이터(15,354), KorMedMCQA(3,401), PubMedQA(827), 로드맵 바이오(657), 건강기능식품(346) 등

Training Hyperparameters

Training Infrastructure

• Framework: PEFT, TRL, Transformers
• Hardware: NVIDIA H200 (143GB VRAM)
• Training Duration: ~4-5 hours
• Final Train Loss: 0.2854
• Mean Token Accuracy: 91.85%

Evaluation

Benchmark: KorMedMCQA

한국 의료 자격시험 기반 객관식 문제 (Multiple Choice QA) 벤치마크에서 평가했습니다.

Overall Performance

Per-Subject Performance

Performance History

SOTA Comparison on KorMedMCQA

Usage

Quick Start

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Load base model and adapter
base_model_id = "Qwen/Qwen3-8B"
adapter_id = "dhkim0324/WeIN_bio_Qwen3-8B"

tokenizer = AutoTokenizer.from_pretrained(adapter_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(model, adapter_id)

# Inference
prompt = "다음 의료 관련 객관식 문제에 답하시오.\n\n문제: 심근경색의 가장 흔한 원인은?\n1. 관상동맥 죽상경화증\n2. 심장판막질환\n3. 심근염\n4. 대동맥박리\n\n정답:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Merge Adapter (Optional)

from transformers import AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B", torch_dtype="auto")
model = PeftModel.from_pretrained(base_model, "dhkim0324/WeIN_bio_Qwen3-8B")
merged_model = model.merge_and_unload()
merged_model.save_pretrained("merged_model")

Limitations

• 의료 전문가의 임상 판단을 대체할 수 없으며, 연구 및 교육 목적으로만 사용해야 합니다.
• KorMedMCQA 벤치마크 기준 평가이며, 실제 임상 환경에서의 성능은 다를 수 있습니다.
• 치과의사 도메인에서 상대적으로 낮은 성능(58.45%)을 보입니다.
• Chain-of-Thought 추론 시 의학적으로 부정확한 추론을 생성할 수 있습니다.
• 학습 데이터 시점 이후의 최신 의학적 발전은 반영되지 않습니다.

Citation

@misc{wein_bio_qwen3_2026,
    title={WeIN_bio_Qwen3-8B: Korean Medical Domain LoRA Adapter for Qwen3-8B},
    author={dhkim0324},
    year={2026},
    publisher={Hugging Face}
}