recycle-vlm-lora

recycle-gemma-3-4b (Korean Recycling Mark Guide)

한국 분리배출(재활용) 마크 사진을 보고 올바른 분리배출 방법을 한국어로 안내하도록 google/gemma-3-4b-it를 LoRA(QLoRA)로 파인튜닝한 온디바이스 VLM.

• Base: mlx-community/gemma-3-4b-it-qat-4bit (Gemma 3 4B IT, QAT 4bit)
• Architecture: gemma3 (변경 없음 → mlx-swift-lm VLM 로더 그대로 호환)
• Method: mlx-vlm QLoRA, 비전 타워 동결(언어 레이어 LoRA만)
• Data: 한국 분리배출 마크 사진 + 한국어 배출 안내 (소규모, 자체 구축)
• Runtime: MLX Swift로 iPhone(iOS 17+) 온디바이스 실행

이 repo는 LoRA 어댑터입니다(베이스에 얹어 사용). 비전 타워는 동결, 언어 레이어만 학습.

사용 (MLX, 어댑터)

python -m mlx_vlm.generate \
  --model mlx-community/gemma-3-4b-it-qat-4bit \
  --adapter-path <this-repo> \
  --image bottle.jpg \
  --prompt "이 한국 분리배출 마크를 인식하고, 분리배출 방법을 한국어로 단계별로 알려줘." \
  --max-tokens 300 --repetition-penalty 1.1

개선 예시 (before/after)

• 베이스: "HDPE는 일반 쓰레기와 함께 버릴 수 있습니다" (오류)
• 어댑터: "일반 쓰레기와 함께 버리지 않고, 플라스틱 재활용 수거함에 넣어주세요" (수정)

iOS 온디바이스

단일 모델이 필요하면 fp 베이스에 병합(fuse) 후 4bit 변환해 HF에 올리고, MLX Swift(ml-explore/mlx-swift-lm, MLXVLM)에서 ModelConfiguration(id: ...)로 로드. 실기기 전용, Increased Memory Limit 필요.

한계 / 주의

• 소규모 데이터로 파인튜닝된 데모용 모델. 지역별 분리배출 규정 차이는 반영하지 못할 수 있음.
• 분리배출 안내는 참고용이며, 지자체 기준이 우선.
• 라이선스: Gemma Terms of Use 준수.