fine-tuned-e5-small-drugproduct

🧬 Fine-tuned E5-small for Korean Drug Product Semantic Embedding

📘 Model Overview

이 모델은 intfloat/multilingual-e5-small 기반으로,
의약품 요약·상세 데이터(drug_summary, drug_details) 및 제품 유형 정의(drug_type_definition), DUR 규제 정의(drug_dur_type_definition)를 활용하여
한국어 의약품 도메인에 맞게 3단계 파인튜닝(fine-tuning) 된 SentenceTransformer 모델입니다.

• GitHub Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel

---

🧩 Base Model Selection Rationale

이 프로젝트는 다국어 환경에서도 의약품 명칭, 효능, DUR 규제의 복잡한 의미 관계를 정확히 임베딩하기 위해
E5(multilingual-E5) 계열 모델 중 intfloat/multilingual-e5-small을 선택했습니다.

선정 이유는 다음과 같습니다:

1. 다국어 문장 표현력

   • 영어뿐 아니라 한국어, 일본어, 중국어, 독일어 등 다양한 언어에서 균형 잡힌 의미 표현 성능을 보여줍니다.
   • 의약품 데이터는 외래어·학술용어가 혼합된 형태가 많기 때문에 multilingual encoder가 유리합니다.

2. 효율적 성능 대비 파라미터 크기 (Small Variant)

   • small 모델은 약 33M 파라미터로, M1/M2 맥북 등 로컬 환경에서도 안정적으로 fine-tuning 가능했습니다.
   • FP16 또는 bfloat16 지원으로 GPU·MPS 환경에서도 효율적인 연산을 제공합니다.

3. 문장 단위 의미 검색(semantic retrieval)에 최적화

   • E5 모델은 “문장 단위 의미 임베딩(Sentence Embedding)”을 위해 학습되어 있어,
     단순 질의("기침약", "열 내리는 약")와 제품명("판콜에이", "타이레놀") 간 의미 매칭에 뛰어난 성능을 보입니다.

4. Sentence-Transformers와 완벽한 호환성

   • SentenceTransformer 인터페이스와 100% 호환되어, PyTorch 기반 pipeline 통합이 용이했습니다.

---

🔹 Step 1: Drug Type Semantic Alignment

• 데이터셋: drug_type_def_list.csv
• 목표: "해열제" → "체온을 낮추는 약" 과 같은 개념 매핑 학습
• 모델 결과: /model/fine_tuned_e5_small_drugtype

🔹 Step 2: DUR Type Semantic Alignment

• 데이터셋: drug_dur_type_similarity_train.csv
• 목표: "임부금기", "노인주의", "병용금기" 등 DUR 타입과 전문적 설명 간 의미 매핑 학습
• 모델 결과: /model/fine_tuned_e5_small_drugdurtype

🔹 Step 3: Drug Product Semantic Alignment

• 데이터셋: drug_product_similarity_train.csv (약 3,000건 샘플)
• 목표: "판콜에이내복액" 같은 실제 제품과 "열을 내리는 약" 같은 질의 간 의미 매칭 강화
• 모델 결과: /model/fine_tuned_e5_small_drugproduct_accum

---

🔹 Experimental: Drug Ingredient + Product Type Fine-tuning

fine_tuned_e5_small_drugdurtype 모델을 기반으로,
의약품 성분(ingredient_name)과 제품 유형(product_type)을 결합한
임베딩 학습(fine_tuned_e5_small_drug_ptype_ingredients)을 추가로 수행하였습니다.

⚙️ 적용 내용

📋 관찰 내용

• 모델은 안정적으로 수렴하였으나, 문장 패턴의 반복성과 Positive-only 데이터 구성으로 인해
  효능군 간 의미적 경계가 제대로 형성되지 않았음.
• 전체 유사도 분포가 과도하게 높게 수렴하여, 의미보다 문체 패턴을 중심으로 학습된 것으로 관찰됨.
• 결론적으로 본 모델은 성분-제품유형 결합 학습이 의미 검색 품질 개선에 실질적 이점을 제공하지 않음을 확인하였으며, 현재 파이프라인에는 적용하지 않기로 결정함.

---

🧠 Use Case Example

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("Yoonyoul/fine-tuned-e5-small-drugproduct")

query = "열을 내리는 약은?"
docs = [
    "판콜에이내복액은 해열진통제입니다.",
    "마이암부톨정은 항결핵제입니다.",
    "지르텍정은 항히스타민제입니다."
]

emb_q = model.encode(query, convert_to_tensor=True)
emb_d = model.encode(docs, convert_to_tensor=True)

scores = util.cos_sim(emb_q, emb_d)[0]
for doc, score in zip(docs, scores):
    print(f"{doc} → 유사도: {score.item():.4f}")

---

⚙️ Training Environment

---

📅 Release Info

• Author: @Yoonyoul
• Base Model: intfloat/multilingual-e5-small
• Fine-tuned Model: Yoonyoul/fine-tuned-e5-small-drugproduct
• Repository: https://github.com/ryukato/fine-tuned-e5-drugmodel
• Last Updated: 2025-10-27