task-13-Qwen-Qwen2.5-3B-Instruct

Character Roleplay LoRA for Qwen/Qwen2.5-3B-Instruct

推奨推論パラメータ

このモデルはキャラクターロールプレイ向けに最適化されています。以下の推論設定を推奨します：

generation_config = {
    "temperature": 0.8,  # キャラクターの個性と一貫性のバランス
    "top_p": 0.95,       # 応答の多様性を確保
    "repetition_penalty": 1.1,  # 繰り返しを抑制
    "max_new_tokens": 1024,
    "do_sample": True
}

トレーニング設定

• Base model: Qwen/Qwen2.5-3B-Instruct
• Context length: 4096
• Training parameters:
  • per_device_train_batch_size: 1
  • gradient_accumulation_steps: 4
  • num_train_epochs: 10
  • max_seq_length: 4096
  • lora_rank: 8
  • lora_alpha: 51
  • lora_dropout: 0.05908611332363597
  • lora_target_modules: ['q_proj', 'k_proj', 'v_proj', 'o_proj', 'gate_proj', 'up_proj', 'down_proj']
  • learning_rate: 2.132627712168491e-05
  • lr_scheduler_type: polynomial
  • num_cycles: 2
  • weight_decay: 0.0011271666898498792
  • warmup_ratio: 0.24076647952825178
  • max_grad_norm: 1.0
  • optim: adamw_8bit
  • eval_steps: 100
  • save_strategy: steps
  • save_steps: 200
  • logging_steps: 25
  • gradient_checkpointing: True
  • bf16: True