selective-read-preserving-repair-gpt2-small

Selective Read-Preserving Repair — GPT-2 Small

Это выбранный checkpoint conditional residual MLP из исследования selective repair для activation steering. Он восстанавливает активации GPT-2 Small в точке blocks.6.hook_resid_post после structured corruption вдоль SAE-направлений.

Это не LoRA/PEFT-адаптер и не самостоятельная языковая модель. Checkpoint принимает тензор активаций с последней размерностью 768 и силу вмешательства. Для полного steering/repair pipeline нужен код основного репозитория; этот model repo содержит самодостаточный класс денойзера и минимальный пример загрузки.

Что лежит в репозитории

• model.safetensors — веса выбранного запуска structured-seed-29;
• denoiser.py — архитектура ConditionalResidualMLP без зависимости от основного пакета;
• example.py — загрузка checkpoint и проверка forward pass;
• config.json — размеры модели, target hook и контрольный SHA-256;
• REPORT.md, figures/, tables/ — полный отчёт и результаты оценки.

Результат исследования

• Trigger AUROC: 0.717; AUPRC: 0.233; Spearman с causal repair benefit: 0.081.
• При u=0.5 оценка NLL(always-read) − NLL(event-read) равна 0.182, 95% CI [-0.257, 0.811].
• Интервал пересекает ноль, поэтому статистически уверенная победа selective repair не заявляется. Артефакт публикуется вместе с отрицательным результатом и контролями.

Подробная постановка, протокол, matched-rate control и ограничения описаны в REPORT.md.

Загрузка

pip install torch safetensors huggingface_hub
python example.py

Или напрямую из Python:

import sys
from pathlib import Path

from huggingface_hub import snapshot_download
from safetensors.torch import load_file

model_dir = Path(snapshot_download(
    "Bismark333/selective-read-preserving-repair-gpt2-small"
))
sys.path.insert(0, str(model_dir))
from denoiser import ConditionalResidualMLP

model = ConditionalResidualMLP(
    d_model=768,
    hidden_dim=1536,
    max_strength=3.0,
)
model.load_state_dict(load_file(model_dir / "model.safetensors"))
model.eval()

Checkpoint SHA-256: 60fda5376f799f56baa8447df653ab1deae0fdc72686a4a87aa0f745d12d7df1.

Ограничения

Модель исследована только для GPT-2 Small, одного residual-stream layer и шести final SAE features. Она не предназначена для произвольных слоёв или размерностей без переобучения. Сохранение target SAE preactivation не гарантирует сохранение всего TopK support.