qwen2.5-supercoder-3b-Instruct

Qwen2.5-SuperCoder-3B-Instruct

⚠️ Aviso: este modelo fue entrenado por un aficionado, como proyecto personal de fine-tuning.

Fine-tune de Qwen2.5-Coder-3B-Instruct, orientado a asistencia de código ("vibe coding"), corrección de errores, y generación de interfaces, manteniendo coherencia conversacional multi-turno.

Tecnología usada

• Modelo base: Qwen2.5-Coder-3B-Instruct, arquitectura Qwen2 clásica (atención GQA + RoPE).
• Framework de entrenamiento: Unsloth, con FastLanguageModel y checkpointing optimizado (use_gradient_checkpointing="unsloth").
• Método: LoRA 16-bit (rank 32, alpha 32, dropout 0), aplicado a q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• Hardware: entrenado en una RTX 5090 (32GB VRAM) alquilada en vast.ai.
• Hiperparámetros clave: learning rate 2e-4, scheduler coseno, optimizer AdamW 8-bit, 2 épocas, context length 2048, weight decay 0.01, entrenamiento con assistant completions only (el loss solo se calcula sobre los tokens de la respuesta del asistente, no sobre el prompt ni el system message).
• Exportación: cuantizado a GGUF (Q4_K_M) para inferencia en llama.cpp / Ollama / LM Studio.

Dataset de entrenamiento

Mezcla de ~46,600 filas (tras deduplicación) de 13 fuentes públicas, normalizadas a conversaciones multi-turno (formato messages, no solo pares instrucción/respuesta aplanados) para preservar coherencia conversacional. Proporciones aproximadas por fuente:

La filosofía "ponytail"

Un subconjunto de las fuentes con razonamiento visible (angrygiraffe, nohurry, CodeFeedback) fue entrenado con un system prompt fijo que le pide al modelo, antes de escribir código, evaluar en orden: (1) si el código necesita existir (YAGNI), (2) si la librería estándar ya lo resuelve, (3) si una función nativa de la plataforma lo resuelve, (4) si una dependencia ya instalada lo resuelve, (5) si se puede resolver en una línea — y solo entonces escribir el mínimo código necesario, sin recortar validación de inputs, seguridad, manejo de errores o accesibilidad.

Ese system prompt no se aplicó a toda la mezcla: solo se inyectó en las fuentes donde la respuesta demuestra ese razonamiento explícitamente. En datasets de instrucciones cortas y directas (CodeAlpaca, Magicoder, etc.) no tendría sentido pedir ese checklist si la respuesta nunca lo refleja — habría sido una señal de entrenamiento contradictoria (el system prompt pidiendo algo que la respuesta objetivo no demuestra).

Limitaciones conocidas

• Al ser un fine-tune LoRA sobre un modelo de 3B, no espera igualar la calidad de modelos de código mucho más grandes.
• La mezcla de datasets incluye entre 13 fuentes de calidad y curación variable (algunas generadas sintéticamente por terceros vía API, no verificadas manualmente por sus autores).
• No se descarta cierta interferencia entre lenguajes de programación dado el desbalance de la mezcla (fuerte peso en Python, menor en JavaScript/TypeScript) — revisa el output generado en lenguajes menos representados antes de confiar en él ciegamente.

Uso

Formato de prompt ChatML (heredado de Qwen2.5):

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant