llama-3.1-8b-socialvisualizer-query-lora

llama-3.1-8b-socialvisualizer-query-lora

meta-llama/Llama-3.1-8B-Instruct 기반 LoRA 어댑터로, GraphRAG 질의응답 파이프라인의 두 태스크(local_search: 단일 계정 대상 질의응답, global_search: 전역 커뮤니티 요약 기반 질의응답, MAP+REDUCE)를 수행하도록 파인튜닝되었습니다. "2026 오픈소스 개발자대회" 출품작 SocialVisualizer의 실제 배포 파이프라인에서 사용됩니다 (OpenAI 기반 상용 API를 로컬 모델로 대체).

인덱싱용 어댑터(llama-3.1-8b-socialvisualizer-index-lora)와 별도로 학습된 이유: extract_graph/community_reports는 엄격한 구조화 출력(JSON 유사 튜플)인 반면 local_search/global_search는 자유 서술형 자연어 출력이라, 출력 분포 차이로 인한 간섭을 피하기 위해 순정 Llama-3.1-8B-Instruct에서 독립적으로 학습했습니다.

모델 설명

• Base model: meta-llama/Llama-3.1-8B-Instruct
• Fine-tuning method: LoRA (rank=32, alpha=64, dropout=0.05, target=q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj)
• Tasks: GraphRAG local_search, global_search
• Training framework: LLaMA-Factory 0.9.5
• Trainable params: 83.9M / 8.11B (1.03%)
• 최종 채택 체크포인트: checkpoint-80 (load_best_model_at_end, eval_loss=0.5625 — 216 step 전체 학습 중 가장 낮은 val loss 지점)

학습 데이터

전량 오프라인 단계에서 생성한 합성(가상) 데이터입니다. 실제 개인 메일·메신저 데이터는 전혀 포함되어 있지 않습니다. GraphRAG의 실제 local_search/global_search 프로덕션 프롬프트·컨텍스트 빌더 로직을 그대로 재현해 만든 질문에 대해, 프로덕션이 실제로 낸 응답을 gold 라벨로 사용했습니다.

사용 방법

vLLM으로 병합 모델 서빙:

vllm serve /path/to/merged/model \
  --served-model-name socialvisualizer-llama-query \
  --port 8004

merge 없이 동적 로드

--enable-lora로 베이스 모델 위에 어댑터를 동적으로 얹어 서빙할 수도 있습니다.

베이스 모델과 merge 후 서빙

model_name_or_path: meta-llama/Llama-3.1-8B-Instruct
adapter_name_or_path: <다운받은 이 어댑터 경로>
template: llama3
finetuning_type: lora
export_dir: <저장할 경로>
export_size: 5
export_device: cpu
export_legacy_format: false

llamafactory-cli export merge.yaml

merge된 모델은 vLLM 등으로 바로 서빙할 수 있습니다. (담당 태스크: local_search, global_search)

vllm serve <merge된 모델 경로> \
  --served-model-name socialvisualizer-llama-query \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.3

예시 QA 데이터

파인튜닝된 질의응답 성능을 참고할 수 있는 QA 샘플: Golden-Olive/socialvisualizer-query-qa (단, 학습 데이터로 실제 사용된 것이므로 완전히 분리된 held-out 평가셋은 아닙니다.)

소스 코드 및 재현 방법

학습/추론 코드, SFT 데이터 구축 스크립트(재구성본 — 상세 내용은 저장소의 sft_data_construction/query/README.md 참고), 학습 config는 아래 저장소의 llama-finetune/ 폴더에서 확인할 수 있습니다:

https://github.com/s0-yeon/SocialVisualizer/tree/main/llama-finetune

라이선스

베이스 모델(Llama 3.1)의 라이선스 조건을 승계하여 Llama 3.1 Community License를 따릅니다. Built with Llama. 직접 작성한 학습/추론 코드는 MIT License입니다 (위 저장소의 LICENSE 파일 참고).

대회 정보

2026 오픈소스 개발자대회 출품작 SocialVisualizer의 질의응답용 LoRA 어댑터입니다. 인덱싱용 어댑터는 llama-3.1-8b-socialvisualizer-index-lora를 참고하세요.