llama-3.1-8b-socialvisualizer-index-lora

llama-3.1-8b-socialvisualizer-index-lora

meta-llama/Llama-3.1-8B-Instruct 기반 LoRA 어댑터로, GraphRAG 인덱싱 파이프라인의 두 태스크(extract_graph: 이메일·메신저 텍스트에서 엔티티/관계 추출, community_reports: 엔티티 클러스터 요약)를 수행하도록 파인튜닝되었습니다. "2026 오픈소스 개발자대회" 출품작 SocialVisualizer의 실제 배포 파이프라인에서 사용됩니다

모델 설명

• Base model: meta-llama/Llama-3.1-8B-Instruct
• Fine-tuning method: LoRA (rank=32, alpha=64, dropout=0.05, target=q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj)
• Tasks: GraphRAG extract_graph, community_reports
• Training framework: LLaMA-Factory 0.9.5
• Trainable params: 83.9M / 8.11B (1.03%)

학습 데이터

전량 오프라인 단계에서 생성한 합성(가상) 데이터입니다. 실제 개인 메일·메신저 데이터는 전혀 포함되어 있지 않습니다. gpt-5.4-mini가 실제 프로덕션 GraphRAG 파이프라인 위에서 만든 응답을 distillation gold 라벨로 재사용했습니다

사용 방법

vLLM으로 병합 모델 서빙:

vllm serve /path/to/merged/model \
  --served-model-name socialvisualizer-llama-index \
  --port 8002

merge 없이 동적 로드

--enable-lora로 베이스 모델 위에 어댑터를 동적으로 얹어 서빙할 수도 있습니다.

베이스 모델과 merge 후 서빙

model_name_or_path: meta-llama/Llama-3.1-8B-Instruct
adapter_name_or_path: <다운받은 이 어댑터 경로>
template: llama3
finetuning_type: lora
export_dir: <저장할 경로>
export_size: 5
export_device: cpu
export_legacy_format: false

llamafactory-cli export merge.yaml

merge된 모델은 vLLM 등으로 바로 서빙할 수 있습니다. (담당 태스크: extract_graph, community_reports)

vllm serve <merge된 모델 경로> \
  --served-model-name socialvisualizer-llama-index \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.85

소스 코드 및 재현 방법

학습/추론 코드, SFT 데이터 구축 스크립트, 학습 config는 아래 저장소의 llama-finetune/ 폴더에서 확인할 수 있습니다:

https://github.com/s0-yeon/SocialVisualizer/tree/main/llama-finetune

라이선스

베이스 모델(Llama 3.1)의 라이선스 조건을 승계하여 Llama 3.1 Community License를 따릅니다. Built with Llama. 직접 작성한 학습/추론 코드는 MIT License입니다 (위 저장소의 LICENSE 파일 참고).

대회 정보

2026 오픈소스 개발자대회 출품작 SocialVisualizer의 인덱싱용 LoRA 어댑터입니다. 질의응답용 어댑터는 llama-3.1-8b-socialvisualizer-query-lora를 참고하세요.