korean-llm-finetune

Korean LLM Fine-tuning Project

이 프로젝트는 Llama 3.2 1B 모델을 한국어 QA 데이터로 파인튜닝하는 예시입니다. LoRA(저랭크 어댑터) 방법을 사용하여 효율적인 파인튜닝을 수행합니다.

🎯 목표

• Llama 3.2 1B 모델을 한국어 데이터로 파인튜닝
• LoRA를 통한 메모리 효율적인 학습
• 한국어 질의응답 능력 향상
• 기술력 입증을 위한 데모 프로젝트

📁 프로젝트 구조

korean-llm-finetune/
├── README.md                 # 프로젝트 설명
├── requirements.txt          # 필요한 패키지 목록
├── model_card.md            # 모델 카드
├── configs/
│   └── lora_config.yaml     # LoRA 설정
├── data/
│   └── ko_samples.jsonl     # 한국어 샘플 데이터
├── scripts/
│   ├── train_lora.py        # 파인튜닝 스크립트
│   ├── evaluate.py          # 평가 스크립트
│   └── preprocess.py        # 전처리 스크립트
├── inference_demo.ipynb     # 추론 데모 노트북
└── outputs/                 # 학습 결과 저장

🚀 시작하기

1. 환경 설정

# 필요한 패키지 설치
pip install -r requirements.txt

2. 데이터 준비

data/ko_samples.jsonl 파일에 한국어 QA 데이터를 준비합니다:

{"instruction": "다음 질문에 답하세요", "input": "한국의 AI 정책은?", "output": "정부는 2025년부터 독자 AI 파운데이션 모델을 개발 중입니다."}

3. 모델 다운로드

Llama 3.2 1B 모델을 Hugging Face에서 다운로드합니다:

from transformers import AutoTokenizer, AutoModelForCausalLM

# 토크나이저 다운로드
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")

# 모델 다운로드 (Meta 라이선스 동의 필요)
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")

4. 파인튜닝 실행

cd scripts
python train_lora.py \
    --model_name_or_path meta-llama/Llama-3.2-1B \
    --data_path ../data/ko_samples.jsonl \
    --output_dir ../outputs \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --learning_rate 2e-4

5. 모델 평가

python evaluate.py \
    --base-model meta-llama/Llama-3.2-1B \
    --adapter-path ../outputs/final_model \
    --test-data ../data/ko_samples.jsonl

6. 추론 데모

Jupyter 노트북을 실행하여 모델을 테스트합니다:

jupyter notebook inference_demo.ipynb

🔧 주요 기능

LoRA 파인튜닝

• 저랭크 어댑터를 통한 메모리 효율성
• LoRA를 통한 적응형 학습
• CPU/M1/M2 환경에서도 학습 가능

한국어 최적화

• 한국어 프롬프트 포맷팅
• 한국어 QA 데이터셋
• 한국어 특화 토크나이징

평가 및 데모

• 자동화된 평가 스크립트
• Jupyter 노트북 데모
• 결과 시각화

📊 성능 지표

• 모델 크기: 1.2B 파라미터
• 학습 가능한 파라미터: ~0.85M (LoRA)
• 메모리 사용량: CPU/M1/M2 환경 기준
• 컨텍스트 길이: 4096 토큰

📊 최신 평가 결과 요약 (2025-07-03 17:44:47)

• 모델: meta-llama/Llama-3.2-1B
• 어댑터: outputs/final_model
• 테스트 데이터: data/ko_samples.jsonl
• 테스트 샘플 수: 10
• 평가 조건: max_new_tokens=128, temperature=0.7
• 시스템: macOS-15.5-arm64, Python 3.10.11

📊 오늘(2025-07-04) 테스트 결과 요약

• 모델: meta-llama/Llama-3.2-1B
• 어댑터: outputs/final_model
• 테스트 데이터: data/ko_samples.jsonl (우주/천문 QA)
• 테스트 샘플 수: 10
• 평가 조건: max_new_tokens=128, temperature=0.7
• 시스템: Windows-11-10.0.26100-SP0, Intel64 Family 6 Model 183 Stepping 1, Python 3.13.5

🛠️ 기술 스택

• Transformers: Hugging Face Transformers 라이브러리
• PEFT: Parameter-Efficient Fine-Tuning
• PyTorch: 딥러닝 프레임워크
• Datasets: 데이터 처리

📝 사용 예시

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# 모델 로드
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
model = PeftModel.from_pretrained(base_model, "./outputs/final_model")

# 추론
prompt = "### 질문: 다음 질문에 답하세요\n입력: 한국의 수도는?\n### 답변:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=128)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

🤝 기여하기

1. 이 저장소를 포크합니다
2. 새로운 기능 브랜치를 생성합니다
3. 변경사항을 커밋합니다
4. 브랜치에 푸시합니다
5. Pull Request를 생성합니다

📄 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다. Llama 3.2 모델 사용을 위해서는 Meta의 라이선스 동의가 필요합니다.

🙏 감사의 말

• Meta AI의 Llama 3.2 모델
• Hugging Face 팀의 Transformers 라이브러리
• Microsoft의 PEFT 라이브러리

📞 문의

프로젝트에 대한 문의사항이 있으시면 이슈를 생성해주세요.