Llama-3.2-3B-Instruct-KoAlpaca

Llama-3.2-3B-KoAlpaca-Merged

이 모델은 Meta의 Llama-3.2-3B-Instruct 모델을 베이스로 하여, 한국어 지시어 데이터셋인 KoAlpaca v1.1a를 학습(Fine-tuning)시킨 후 병합한 모델입니다. 한국어 질의응답 및 지시 이행 능력을 향상시키는 데 중점을 두었습니다.

Model Details

Model Description

• Model type: Causal Language Model
• Language(s) (NLP): 한국어 (Korean)
• License: Llama 3.2 Community License
• Finetuned from model: meta-llama/Llama-3.2-3B-Instruct
• Dataset: Taegyuu/KoAlpaca-v1.1a

Uses

Direct Use

이 모델은 한국어 질문에 답변하거나, 주어진 지시에 따라 텍스트를 생성하는 작업에 직접 사용할 수 있습니다.

Prompt Format (Llama 3.2)

이 모델은 대화형 구조로 학습되었으므로 아래와 같은 메시지 형식을 권장합니다.

messages = [
    {"role": "system", "content": "당신은 한국어 질의응답 전문가입니다. 주어진 문맥을 바탕으로 정확하고 간결한 답변을 제공하세요."},
    {"role": "user", "content": "인공지능이란 무엇인가요?"}
]

Training Hyperparameters

The following hyperparameters were used during training:

• LoRA Specifics:
  • r: 32
  • lora_alpha: 64
  • target_modules: All linear layers (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
  • lora_dropout: 0.05
• Optimization:
  • learning_rate: 2e-04
  • lr_scheduler_type: cosine
  • warmup_steps: 100
  • optimizer: AdamW
  • weight_decay: default (0.0)
• Training Strategy:
  • num_train_epochs: 1
  • total_batch_size: 8 (2 per device * 4 accumulation steps)
  • gradient_checkpointing: True
  • fp16: True
  • neftune_noise_alpha: 5

Evaluation

Support

• SSAFY Tesla V100-PCIE-32GB