Downloads · 30 days
7
9% of all-time downloads
beachcities/qwen3-4b-sft-v5g-hybrid-merged
qwen3-4b-sft-v5g-hybrid-merged is a text generation model from beachcities. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Downloads · 30 days
7
9% of all-time downloads
All-time downloads
79
Public
Parameters
4B
8.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors8 GB · 100%
From the Hugging Face model README
Matsuo Lab LLM Competition 2025 (StructEval)
SFT only · No DPO · 12,686 training samples
Qwen3-4B-Instruct-2507 をベースに、構造化データ出力(JSON / YAML / TOML / XML / CSV)の品質を最大化するための SFT を施したモデルです。
本モデルの最も重要な技術的貢献は Empty Think Injection です。
Qwen3 の thinking 機能(<think>...</think>)はデフォルトで有効であり、推論時にモデルは思考プロセスを出力してから回答を生成します。構造化データ出力タスクでは、この thinking 出力がコードフェンス(```json)や前置き文("Here is the JSON output:")の混入を引き起こし、パースエラーの原因となっていました。
Empty Think Injection は、SFT データの全 assistant 出力を以下の形式に統一する手法です:
<think>
</think>
{raw structured data}
Approach: ... Output: ...)を物理削除<think> ブロックを先頭に付与し、モデルが thinking フェーズを即座に終了してデータ出力に移行するよう訓練この手法により、推論時にモデルは <think>\n</think> の後に即座に構造化データを出力します。
コンペの運営提供データセット(9種)から、ルールベースの前処理のみで構築しています。LLM によるデータ合成・改変は一切使用していません。
| Source | Samples | Description |
|---|---|---|
| u-10bei/structured_data_with_cot_dataset_512_v4 | 4,608 | 5形式の基礎データ。CoT 削除 + Empty Think Injection を適用 |
| daichira/structured-hard-sft-4k | 4,000 | 深い構造・大キー数の高難度データ。Empty Think Injection を適用 |
| Deep Structure Upsampling | 3,578 | daichira hard-4k から深さ4+のXML・深さ5+のYAMLを選択的に3倍増幅 |
| CSV Dot-Notation Expansion | 500 | daichira hard-4k の深い YAML をルールベースで平坦化し、CSV→JSON/YAML の展開ペアを合成 |
daichira/structured-hard-sft-4k の中から深い構造(XML depth≥4, YAML depth≥5)を持つサンプルを選択的に3倍に増幅しています。浅いデータが支配的になることを防ぎ、深い階層の末端キーを欠損なく出力する能力を強化します。
daichira/structured-hard-sft-4k の深い YAML データを Python スクリプトで逆変換し、ドット記法の平坦な CSV を入力、深い JSON/YAML を出力とする合成データ 500 件を生成しています。
例: metrics.accuracy,metrics.loss → metrics:\n accuracy: 0.95\n loss: 0.02
「ドット記法 = 深いネストの平坦化表現」という変換ルールをモデルに教え込むことで、CSV 以外のタスクでも深い構造の展開能力が汎化しました。
| Parameter | Value |
|---|---|
| Method | SFT via Unsloth |
| Epochs | 2 |
| Batch size | 16 (per_device=2 × grad_accum=8) |
| Learning rate | 5e-5 |
| LoRA | r=64, alpha=64 |
| Max seq length | 2048 |
| Quantization | 4-bit (load_in_4bit=True) |
| Final eval_loss | 0.1552 |
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "beachcities/qwen3-4b-sft-v5g-hybrid-merged"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.float16,
device_map="auto"
)
Apache-2.0 (following base model terms)