your-lora-repo

qwen3-4b-structured-output-lora

本リポジトリは、Qwen/Qwen3-4B-Instruct-2507 をベースに QLoRA (4-bit, Unsloth) を用いてファインチューニングされた LoRAアダプター を提供します。

※このリポジトリには LoRAアダプターの重みのみ が含まれています。推論を行うには、別途ベースモデルを読み込む必要があります。

学習目的

このアダプターは、構造化出力の精度（JSON / YAML / XML / TOML / CSV）を向上させることを目的に学習されています。

学習時のLoss（損失）はアシスタントの最終的な出力部分にのみ適用され、中間の推論プロセス（Chain-of-Thought; CoT）部分はマスク処理されています。

学習設定

• ベースモデル: Qwen/Qwen3-4B-Instruct-2507
• 手法: QLoRA (4-bit)
• 最大シーケンス長: 512
• エポック数: 1
• 学習率: 1e-06
• LoRA設定: r=64, alpha=128

使い方

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base = "Qwen/Qwen3-4B-Instruct-2507"
# ご自身のHugging Face IDとリポジトリ名に変更してください
adapter = "your_id/your-repo" 

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    torch_dtype=torch.float16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)