Downloads · 30 days
10
24% of all-time downloads
lora-sft-v12
astom-M/lora-sft-v12
lora-sft-v12 is a text generation model from astom-M. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
Qwen3-4B-Instruct-2507 をベースとした LoRA アダプタです。構造化データ出力（JSON, YAML, TOML, CSV, XML）の精度向上を目的にファインチューニングしています。
All-time downloads
41
Public
Repo size
540 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors529 MB · 98%
At a glance
- Task
- Text Generation
- Library
- peft
- License
- apache-2.0
- Access
- Public
- Created
- Mar 2, 2026
- Updated
- Mar 2, 2026
- SHA
- ba11fb32
Base models
Model card
From the Hugging Face model README
lora-sft-v12
Qwen3-4B-Instruct-2507 をベースとした LoRA アダプタです。構造化データ出力（JSON, YAML, TOML, CSV, XML）の精度向上を目的にファインチューニングしています。
Model Details
- Base Model: Qwen/Qwen3-4B-Instruct-2507
- Method: LoRA + rsLoRA (Rank-Stabilized LoRA)
- Framework: PEFT / Transformers / BitsAndBytes (4-bit QLoRA)
- Dataset: u-10bei/structured_data_with_cot_dataset_512_v2
Training Hyperparameters
| Parameter | Value |
|---|---|
| LoRA rank (r) | 64 |
| LoRA alpha | 128 |
| rsLoRA | True |
| Target modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Epochs | 1 |
| Learning rate | 2e-6 |
| Effective batch size | 32 (micro=2, accum=16) |
| Max sequence length | 512 |
| Precision | bf16 |
| Quantization | 4-bit NF4 + double quant |
| Optimizer | AdamW |
| Warmup ratio | 0.1 |
| Weight decay | 0.05 |
Usage
- Task
- Text Generation
- Library
- peft
- License
- apache-2.0
- Languages
- ja, en
- Created
- Mar 2, 2026
- Updated
- Mar 2, 2026