Downloads · 30 days
0
monamonamona/qwen3-4b-structeval-dpo_20260207_090223_merged
qwen3-4b-structeval-dpo_20260207_090223_merged is a text generation model from monamonamona. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
このリポジトリは、Qwen3-4B-Instruct-2507 をベースに QLoRA (4-bit, Unsloth) を使用して2段階学習(SFT + DPO)を行い、その後完全にマージした マージ済みモデル を提供します。
Downloads · 30 days
0
Access
Public
Updated Feb 7, 2026
Parameters
4B
8.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors8 GB · 100%
From the Hugging Face model README
このリポジトリは、Qwen3-4B-Instruct-2507 をベースに QLoRA (4-bit, Unsloth) を使用して2段階学習(SFT + DPO)を行い、その後完全にマージした マージ済みモデル を提供します。
このリポジトリにはマージ済みの完全なモデルが含まれています。
LoRAアダプタは既に統合されており、そのまま使用できます。
このモデルは 構造化出力の精度向上 を目的として学習されています:
学習は2段階で実施:
損失は最終的なアシスタント出力にのみ適用され、中間的な推論(Chain-of-Thought)はマスクされています。
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "monamonamona/qwen3-4b-structeval-dpo_20260207_090223_merged"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.float16,
device_map="auto",
trust_remote_code=True,
)
注意: マージ済みモデルのため、PeftModel は不要です。
SFT Training data: u-10bei/structured_data_with_cot_dataset_512_v5
DPO Training data: u-10bei/dpo-dataset-qwen-cot
Dataset License: MIT License. これらのデータセットはMIT Licenseの条件下で使用・配布されています。
Compliance: 利用者はMIT License(著作権表示を含む)およびベースモデルの元の利用規約を遵守する必要があります。