dacon-skku-bias-vlm-v8b

DACON SKKU Bias VLM — v8B (robustness-aware GRPO)

2026 성균관대 멀티모달 AI Bias 챌린지(236722) 출품 모델. GRPO-only(콜드스타트 SFT 없음, 추론확장 없음) 0/1/2) 멀티모달 편향완화 VLM. base: Qwen3-VL-8B-Instruct (Apache-2.0).

한 줄 요약

v8A가 OOD를 올리며 잃었던 옵션순서 강건성(option-shuffle consistency)을 회복하면서 OOD를 유지한 버전.

• shuffle-consistency/source-normalized 보상으로 학습.

평가 (held-out 공개 v8_eval 900, DACON 평가셋 미사용)

• v7(콜드스타트 SFT + 추론 GRPO): BBQ 도메인 과적합·파국적 망각으로 전방위 붕괴(음성결과). ablation상 붕괴 원인은 콜드스타트 SFT(Chu 2025 "SFT Memorizes, RL Generalizes" 부합). v8은 콜드스타트를 제거해 이를 회피.

학습 방법

• GRPO-only, LoRA rank 16 (attention-only, MLP off, vision frozen), 단일토큰, lr 1e-6, 200 steps, num_gen 8.
• 보상 6종: answer / shuffle_consistency / abstain / source_normalized / format / length.
• 동적샘플링(오프라인 근사) + 셔플짝(원본+셔플) 데이터증강.
• 데이터: 공개 BBQ(Elfsong/BBQ) + 일반추론(SIQA/CSQA/OBQA/ARC). DACON 평가셋·테스트 미사용.

사용

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText
m = AutoModelForImageTextToText.from_pretrained("psh3333/dacon-skku-bias-vlm-v8b", torch_dtype=torch.bfloat16, device_map="auto")
proc = AutoProcessor.from_pretrained("psh3333/dacon-skku-bias-vlm-v8b")
# system + user(context/question/3 options + image) → 단일토큰 0/1/2 (모델 생성 텍스트에서 파싱)

라벨은 모델 생성 텍스트에서 파싱(규칙기반 선택 아님). 외부 API 추론 없음. 기준환경 torch 2.6 호환.

규칙 준수

DACON 평가셋 미사용 · 평가셋 패턴마이닝 0 · 규칙기반 정답선택 0 · 최종답=모델텍스트 · base Apache-2.0.