qwen35b-espanol-lora

jpalmae/qwen35b-espanol-lora

qwen35b-espanol-lora is a text generation model from jpalmae. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as mit.

Adapter LoRA r=64 (64MB) para Qwen/Qwen3.6-35B-A3B: fine-tune orientado a español neutro con sesgo chileno, eliminando el voseo/modismos rioplatenses que Qwen arrastra al hablar español.

Downloads · 30 days

17% of all-time downloads

All-time downloads

Public

Repo size

66.9 MB

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors66.9 MB · 100%

At a glance

Task: Text Generation
Library: peft
License: mit
Access: Public
Created: Jul 17, 2026
Updated: Jul 17, 2026
SHA: c6bfe902

Try a prompt

Base models

Qwen/Qwen3.6-35B-A3B

Model card

From the Hugging Face model README

Qwen3.6-35B-A3B — Español Neutro/Chileno 🇨🇱 (LoRA adapter)

Adapter LoRA r=64 (64MB) para Qwen/Qwen3.6-35B-A3B: fine-tune orientado a español neutro con sesgo chileno, eliminando el voseo/modismos rioplatenses que Qwen arrastra al hablar español.

¿Qué contiene?

Archivo	Descripción
`adapter_model.safetensors`	Pesos LoRA (64MB)
`adapter_config.json`	Config PEFT (r=64, target modules)
`config_merged.json`	Config del modelo ya mergeado
`train_35b_a100.py`	Script de entrenamiento (Trainer directo, A100)
`merge_35b.py`	Script de merge LoRA→bf16

Entrenamiento

Parámetro	Valor
Base	`Qwen/Qwen3.6-35B-A3B` (MoE 35B/3B activos, híbrido Mamba/SSM+atención)
Método	LoRA `r=64`, bf16
Pasos	750 (corrida de validación)
Dataset	200k ejemplos: 100k C4 filtrado `.cl` + 100k español neutro, con filtro anti-rioplatense (5,249 ejemplos descartados por voseo/argentismos)
Hardware	A100 SXM4 80GB
Trainer	`transformers.Trainer` directo (NO SFTTrainer — el chunked CE de TRL rompe con esta arquitectura MoE)
Detalles	`gradient_checkpointing` + `use_reentrant=True`, `attn_implementation="sdpa"`, merge con `peft 0.15.1` (0.19.x es incompatible con transformers 5.x para el merge)

Uso

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3.6-35B-A3B", torch_dtype="bfloat16", device_map="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(base, "jpalmae/qwen35b-espanol-lora")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B")

Para servir sin GPU grande, usa el GGUF Q4_K_M ya mergeado y parcheado en jpalmae/qwen35b-espanol-gguf — corre a ~169 tok/s en una RTX 3090 con llama.cpp.

Pipeline completo reproducible

train_35b_a100.py → LoRA (este repo)
merge_35b.py → bf16 mergeado (~65GB)
convert_hf_to_gguf.py → F16 GGUF
llama-quantize → Q4_K_M
Parche binario del header GGUF (block_count 41→40, nextn_predict_layers 1→0) — obligatorio o llama.cpp falla con missing tensor 'blk.39.nextn.eh_proj.weight'

Licencia

MIT.

Task: Text Generation
Library: peft
License: mit
Created: Jul 17, 2026
Updated: Jul 17, 2026