WeIN_bio_Olmo-3-1025-7B

WeIN_bio_Olmo-3-1025-7B

한국어 의료/바이오 도메인에 특화된 OLMo-7B 기반 LoRA 파인튜닝 모델입니다. KorMedMCQA 벤치마크에서 OLMo 계열 최고 성능(44.40%)을 달성했습니다.

Model Details

Model Description

• Base Model: allenai/OLMo-3-1025-7B
• Model Type: Causal Language Model (LoRA Adapter)
• Fine-tuning Method: SFT (Supervised Fine-Tuning) with LoRA via TRL
• Language: Korean (ko)
• License: Apache-2.0
• Domain: 의료/바이오 (Medical/Bio)
• Adapter Size: 154MB (safetensors)

Model Sources

• Base Model: OLMo-3-1025-7B
• OLMo Paper: arXiv:2402.00838
• LoRA Paper: arXiv:2106.09685
• Benchmark: KorMedMCQA (arXiv:2403.01469)

Training Details

Training Data

• Dataset: 한국어 의료 SFT 데이터 (Korean Medical SFT Dataset)
• Training Samples: 34,803
• Format: Instruction-following format (question-answer pairs)
• Domain Coverage: 치과, 의학, 간호학, 약학, 약사 시험 문제 기반

Training Hyperparameters

Training Infrastructure

• Framework: PEFT 0.13.2, TRL 0.27.1, Transformers 4.57.6
• Hardware: NVIDIA GPU with Flash Attention 2 support
• PyTorch: 2.9.1

Evaluation

Benchmark: KorMedMCQA

한국 의료 자격시험 기반 객관식 문제 (Multiple Choice QA) 벤치마크에서 평가했습니다.

Overall Performance

Per-Subject Performance

OLMo Experiment History

Usage

Quick Start

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Load base model and adapter
base_model_id = "allenai/OLMo-3-1025-7B"
adapter_id = "dhkim0324/WeIN_bio_Olmo-3-1025-7B"

tokenizer = AutoTokenizer.from_pretrained(adapter_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(model, adapter_id)

# Inference
prompt = "다음 의료 관련 객관식 문제에 답하시오.\n\n문제: 심근경색의 가장 흔한 원인은?\n1. 관상동맥 죽상경화증\n2. 심장판막질환\n3. 심근염\n4. 대동맥박리\n\n정답:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Merge Adapter (Optional)

from transformers import AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-3-1025-7B")
model = PeftModel.from_pretrained(base_model, "dhkim0324/WeIN_bio_Olmo-3-1025-7B")
merged_model = model.merge_and_unload()
merged_model.save_pretrained("merged_model")

Limitations

• OLMo 기반 모델로 한국어 사전학습이 충분하지 않아 한국어 특화 모델(Qwen3, EXAONE 등) 대비 성능이 낮을 수 있습니다.
• 의료 전문가의 임상 판단을 대체할 수 없으며, 연구 및 교육 목적으로만 사용해야 합니다.
• KorMedMCQA 벤치마크 기준 평가이며, 실제 임상 환경에서의 성능은 다를 수 있습니다.

Citation

@misc{wein_bio_olmo_2026,
    title={WeIN_bio_Olmo-3-1025-7B: Korean Medical Domain LoRA Adapter},
    author={dhkim0324},
    year={2026},
    publisher={Hugging Face}
}