Downloads · 30 days
3
7% of all-time downloads
tmiyamoto/qwen3-4b-20260207_0652-exp09-LR3e-6
qwen3-4b-20260207_0652-exp09-LR3e-6 is a machine learning model from tmiyamoto. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
このリポジトリは、unsloth/Qwen3-4B-Instruct-2507 をベースモデルとし、QLoRA (4-bit, Unsloth) を用いてファインチューニングされた LoRA アダプターを提供します。
Downloads · 30 days
3
7% of all-time downloads
All-time downloads
43
Public
Repo size
540 MB
Likes
0
Public
Click a slice to open those files.
.safetensors529 MB · 97%
From the Hugging Face model README
このリポジトリは、unsloth/Qwen3-4B-Instruct-2507 をベースモデルとし、QLoRA (4-bit, Unsloth) を用いてファインチューニングされた LoRA アダプターを提供します。
【重要】本リポジトリには LoRA アダプターの重みのみが含まれています。ベースモデルは別途ロードする必要があります。
このアダプターは、構造化出力(JSON / YAML / XML / TOML / CSV)の精度向上を目的としてトレーニングされています。
学習時、損失(Loss)は最終的なアシスタントの出力にのみ適用され、中間的な推論プロセス(Chain-of-Thought)はマスクされています。
| パラメータ | 値 |
|---|---|
| ベースモデル | unsloth/Qwen3-4B-Instruct-2507 |
| 手法 | QLoRA (4-bit) |
| 最大シーケンス長 | 1024 |
| エポック数 | 1 |
| 学習率 | 3e-6 |
| LoRA パラメータ | r=64, α=128 |
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-4B-Instruct-2507",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B-Instruct-2507")
model = PeftModel.from_pretrained(base_model, "tmiyamoto/qwen3-4b-20260207_0652-exp09-LR3e-6")
利用者は、データセットの帰属表記(クレジット)に関する要件、およびベースモデルの元の利用規約の両方を遵守する必要があります。