Downloads · 30 days
0
travel-mission-photo-embedder
kimgayeon430/travel-mission-photo-embedder
travel-mission-photo-embedder is a image feature extraction model from kimgayeon430. Use it for the image feature extraction task on the model card, and read the license before you ship it in a product. It is set up for onnxruntime. The card lists the license as mit.
Travel Mission 앱의 2단계 사진 인증 보조 신호용 이미지 임베딩 모델.
Access
Public
Updated Sep 10, 2026
Repo size
88.6 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.onnx88.6 MB · 100%
At a glance
- Task
- Image Feature Extraction
- Library
- onnxruntime
- License
- mit
- Access
- Public
- Created
- Sep 10, 2026
- Updated
- Sep 10, 2026
- SHA
- 23356121
Base models
Model card
From the Hugging Face model README
travel-mission-photo-embedder
Travel Mission 앱의 2단계 사진 인증 보조 신호용 이미지 임베딩 모델.
미션 대표 이미지와 사용자 촬영본의 코사인 유사도로 "같은 카테고리 안에서 이 미션의 대상을 찍었는가"를 판정에 결합한다(분류만으로는 미션 유형 만 볼 수 있음).
왜 CLIP 인가
미션 분류기(apple/mobilevit-small 파인튜닝)의 pooled feature 를 그대로 임베딩으로
재사용하려 했으나, "같은 카테고리·다른 대상" 분리도(ROC AUC)가 0.60 에 그쳤다.
분류 헤드로 파인튜닝되며 feature 가 클래스 판별 방향으로 붕괴한 탓이다.
openai/clip-vit-base-patch32 이미지 인코더는 같은 지표에서 0.76 (int8 양자화 후 0.762).
| 인코더 | 전체 AUC | 맛집 | 체험 | 투어 | 쇼핑 |
|---|---|---|---|---|---|
| MobileViT pooled | 0.60 | 0.63 | 0.66 | 0.63 | 0.60 |
| CLIP ViT-B/32 (이 모델) | 0.76 | 0.92 | 0.88 | 0.81 | 0.70 |
파일
| 파일 | 내용 |
|---|---|
photo_embedder_int8.onnx | CLIP ViT-B/32 이미지 인코더 (get_image_features), int8 동적 양자화, ≈ 89 MB |
photo_embedder_preprocessor.json | 전처리 상수 (224 center-crop · mean/std 정규화 · 채널 반전 없음) |
photo_embedder_version.txt | 버전 문자열 (clip-vit-base-patch32) |
규격
- 입력:
pixel_valuesfloat32[batch, 3, 224, 224] - 출력:
embeddingfloat32[batch, 512]— L2 정규화 전. 앱/사전계산 스크립트에서 정규화한다. - 전처리: 짧은 변 224 리사이즈 → 224 center-crop → ×1/255 →
(x-mean)/std(mean[0.481, 0.458, 0.408], std[0.269, 0.261, 0.276]), RGB 유지
재현
# graduation_project/ml
python export_clip_image_encoder.py --out photo_embedder.onnx --quantize
앱은 최초 사진 인증 시 resolve/main/photo_embedder_int8.onnx 를 받아 filesDir 에 캐시한다.
데이터셋: kimgayeon430/travel-mission-photos.
- Task
- Image Feature Extraction
- Library
- onnxruntime
- License
- mit
- Created
- Sep 10, 2026
- Updated
- Sep 10, 2026