llama-3.2-1b-pos-adapter-recsys

Llama-3.2-1B Recommendation Pos-Adapter

本模型是基於 Llama-3.2-1B 的 LoRA 適配器，專門用於推薦系統的「正向偏好」預測。

實驗背景

• 任務：根據用戶正向觀影歷史 (Positive History) 預測對目標電影的喜好。
• 訓練配置：
  • Learning Rate: 1e-4
  • Effective Batch Size: 16
  • Epoch: 1
  • Quantization: 4-bit (QLoRA)

訓練指標

• 最終 Training Loss: 約 0.60
• 基礎模型行為: 在未微調前，對 Positive Prompt 有強烈的 Over-confidence (均值 0.84)。

使用方法 (How to use)

使用 peft 庫與 AutoModelForCausalLM 進行載入。