bge-m3-merchant-region-pair-adapter

BGE-M3 Merchant Region Pair Similarity Adapter

hoin1218/bge-m3-business-compact-card-context-v2 기반의 가맹점 pair 유사도 adapter입니다.

Interactive demo: https://huggingface.co/spaces/hoin1218/bge-m3-merchant-region-pair-demo

입력은 아래처럼 가맹점명 + 업종명 + 지역 두 개가 들어오는 상황을 가정했습니다.

가맹점명: 스타벅스 강남역점 | 업종명: 커피전문점 | 지역: 서울 강남구
가맹점명: 이디야커피 역삼점 | 업종명: 커피전문점 | 지역: 서울 강남구

Current Version

adapter/에는 최신 adapter를 넣었습니다.

최신 adapter는 다음 순서로 학습되었습니다.

1. synthetic merchant pair dataset으로 projection adapter 학습
2. 실제 상가정보 row 기반 pair dataset으로 추가 학습

이전 synthetic-only adapter는 synthetic_adapter/에 보관했습니다. 최신 real-data continued adapter는 real_adapter/에도 동일하게 들어 있습니다.

Included Files

• adapter/: latest real-data continued adapter
• synthetic_adapter/: previous synthetic-only adapter
• real_adapter/: latest real-data continued adapter copy
• data/: synthetic pair dataset
• real_data/: real merchant row based pair dataset
• results/: synthetic pair evaluation
• real_results/: real pair evaluation
• real_results/judgement_check_ko.md: manual judgement check summary
• scripts/: download/build/train/evaluation scripts
• DATASETS_USED.md: used and candidate dataset details

Real Merchant Pair Dataset

실제 학습에 추가로 사용한 데이터는 소상공인시장진흥공단_상가(상권)정보_202506 공개 mirror에서 일부 권역을 받아 pair로 변환한 데이터입니다.

Raw source mirror:

• Hugging Face dataset: ginipick/market
• Original source: 소상공인시장진흥공단_상가(상권)정보
• Regions used:
  • 세종
  • 울산
  • 제주
  • 광주
  • 대전

Raw CSV 전체를 이 repo에 다시 포함하지는 않았습니다. 대신 학습에 사용한 pair 데이터와 source manifest를 포함했습니다.

Real pair dataset:

• sampled source records: 53,748
• total pair rows: 24,500
• train: 19,600
• eval: 2,450
• test: 2,450

Pair label policy:

Evaluation On Real Pair Test Set

Mean score by reason:

Manual Check

Detailed Korean judgement report: real_results/judgement_check_ko.md

Manual examples using older synthetic labels:

The real-data continued adapter improves the real pair test set, but it is tuned to the public store dataset's industry taxonomy. If production input uses labels like 커피전문점, 주유소, or card-company industry names, those labels should be included in the next training pass.

Usage

from scripts.load_merchant_region_pair_adapter import load_pair_similarity_model, similarity

model = load_pair_similarity_model("adapter")

text1 = "가맹점명: 스타벅스 강남역점 | 업종명: 커피전문점 | 지역: 서울 강남구"
text2 = "가맹점명: 이디야커피 역삼점 | 업종명: 커피전문점 | 지역: 서울 강남구"

print(similarity(model, text1, text2))

Limitation

This is still a proof-of-concept adapter. The new training data uses real merchant rows, but pair scores are automatically generated from industry/region rules. For production, add labeled or policy-approved pairs from the actual card merchant taxonomy.