Qwen3.5-9B-Abliterated-HSAQ-v2

Qwen3.5-9B-Abliterated-HSAQ-v2

HSAQR v2 — Solo abliteración (identificación automática → rewrite selectivo → PWS global). Este repo NO incluye el fine-tune final.

Autor: Jesús Antonio Zárate Hernández (MethodWhite), M.A.T.E.R.I.A. Research, 2026.

Diferencia con Qwen3.5-9B-HSAQR-v2

Pipeline v2 aplicado

1. Identificación auto-calibrada (IQR + magnitud relativa): capas L17-L21, L23, L24, L29 con señal real de refusal.
2. Rewrite jerárquico de canales (hilos/cuerdas/hebras) + ortogonalización selectiva de o_proj y down_proj.
3. PWS global: dimensión intermedia del MLP 12288 → 7456 (config actualizado).

El modelo NO pasó por el fine-tune final con HSAQ-optimizer. Para el modelo completo (abliteración + rewrite de comportamiento), usar MethodWhite/Qwen3.5-9B-HSAQR-v2.

Datasets utilizados

Este repo solo pasó por el paso 1 (identificación), que no usa un dataset de entrenamiento: usa el mismo set contrastivo fijo de 16 prompts (8 harmless + 8 harmful) que localiza la dirección de refusal por capa. El dataset de fine-tuning (10.011 ejemplos, unificado 2026) se aplica únicamente en Qwen3.5-9B-HSAQR-v2, no en este repo.

Nota sobre el tamaño (7B vs 9B)

El PWS recortó la dimensión intermedia del MLP de 12288 → 7456 en todas las capas (−39.3% del MLP). Los embeddings, atención y normas quedaron intactos. Por eso el modelo tiene 7.05B parámetros (de los 8.95B originales, −21.2%) sin perder el conocimiento léxico (embeddings intactos) — es compresión física, no destilación.

Resultados medidos

• PWS: −39% pesos MLP (ahorro ~7 GB en disco)
• Identificación automática: 8/32 capas tocadas, sintaxis intacta
• Abliteración sin fine-tune: refusal eliminado, coherencia base preservada

Evaluación ARC-Challenge (2026-09-23)

Evaluación de la revisión 20983bfef68caaefeb9f028b1d8387c2ef6f04c7 con lm-evaluation-harness 0.4.13, tarea arc_challenge, configuración zero-shot y 1.172 ejemplos. Hardware: NVIDIA RTX 6000 Ada Generation.

Estos valores describen esta revisión del modelo en ARC-Challenge. No son una comparación antes/después, no aíslan el efecto de HSAQ o HSAQR y no deben interpretarse como una mejora causal. El archivo de datos resumidos reproducible está en benchmark-results/arc-challenge-2026-09-23.json.

Uso

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
tokenizer = AutoTokenizer.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")

Alcance de uso

Modelo de investigación para testing de seguridad autorizado (bug bounty, CTF, pentesting con permiso explícito, educación, investigación defensiva).

Créditos

Jesús Antonio Zárate Hernández (MethodWhite). M.A.T.E.R.I.A. Research © 2026.

Si este trabajo te es útil, puedes invitarme un café ☕:

👉 https://buymeacoffee.com/methodwhite

También puedes apoyarme en Ko-fi:

👉 https://ko-fi.com/methodwhite