gpt2-resid-denoiser

Денойзер активаций GPT-2 small (слой 6, resid_post)

Условный по уровню шума денойзер residual stream, обученный для коррекции активационного стиринга: интервенция $h \leftarrow h + \alpha v$ ломает модель при больших $\alpha$, и денойзер применяется поверх неё, $\tilde h = D(h + \alpha v,\ \sigma)$, чтобы убрать внесённое искажение.

Результат эксперимента отрицательный: денойзер не улучшил Парето-фронт по сравнению с наивным стирингом. Чекпойнт выложен как воспроизводимый артефакт исследования, а не как рабочий инструмент. Разбор причин — в отчёте: https://github.com/listussr/llm-interpretability

$\mu$ и $s$ (scale) — статистика активаций, сохранена буферами внутри чекпойнта. Выходной проектор инициализирован нулём, поэтому до обучения сеть — точное тождество.

Обучение

Позиция 0 (attention sink, норма в 37.6 раза выше остальных) исключена из обучающих данных и из всей статистики.

Чистота эксперимента. Rank-1 добавка бралась вдоль случайных направлений; при использовании SAE-направлений из обучающего пула исключены пять валидационных фичей и все направления с косинусом выше 0.4 к любой из них (96 штук).

Использование

Класс Denoiser живёт в репозитории проекта, отдельного пакета нет:

from huggingface_hub import hf_hub_download
from src.denoiser import Denoiser          # git clone https://github.com/listussr/llm-interpretability

path = hf_hub_download("listussr/gpt2-resid-denoiser", "denoiser_ve_rank1.pt")
D = Denoiser.load(path, device="cuda")

h_hat = D(h, sigma)                        # h: (B, 768) float32

Ключевой момент — калибровка $\sigma$. В формуле $\sigma$ есть уровень шума на одну координату, а $\alpha$ — норма добавки целиком. Изотропному шуму нормы $\alpha$ отвечает

$$\sigma_{\text{eff}} = \alpha / \sqrt{d}$$

для $d = 768$ это деление на 27.7. Если подать в денойзер $\sigma = \alpha$, оценка $\sigma^2$ окажется завышенной в 768 раз и денойзер сотрёт стиринг полностью.

Веса продублированы в model.safetensors (плюс config.json) для тех, кому нужна загрузка без pickle.

Известные ограничения

Проверены и измерены; сформулированы здесь, потому что молчание о них сделало бы чекпойнт бесполезным.

Не тождество при $\sigma = 0$. Кондиционирование через $\log(\sigma + 10^{-6})$ отображает ноль в $-13.8$, тогда как обучение шло на $\log \sigma \in [-3.5, 2.2]$. При $\sigma = 0$ сеть меняет активацию на 50% нормы. Не подавать $\sigma = 0$; минимальное осмысленное значение — $0.03$.

Расходимость на верхней границе. При $\sigma = 8.6$ выход уходит на два порядка. Держаться внутри $\sigma \in [0.03,\ 5]$.

Избыточная агрессивность в рабочем диапазоне. При $\sigma_{\text{eff}} = 0.14$ ($\kappa = 0.05$) MLP сдвигает активацию на 2.4% нормы, а оптимальный для гауссова прайора винеровский фильтр — на 0.5%, в пять раз меньше. Этого хватает, чтобы KL с чистой моделью вырос с 0.06 до 4.26: MSE-обучение смещает активации в том числе вдоль направлений, к которым модель чувствительна, а квадратичная ошибка этого не различает.

Денойзинг съедает стиринг. Для гауссова прайора доля сохранённого стиринга равна $a = \lambda_v / (\lambda_v + \sigma^2)$, где $\lambda_v$ — дисперсия активаций вдоль $v$. Измеренная retention этого чекпойнта падает с 0.996 при $\kappa = 0.05$ до 0.543 при $\kappa = 0.45$. Обход — применять денойзер только к ортогональной к $v$ части (denoise_project в репозитории), тогда retention равна 1 по построению.

Привязка к точке. Обучен на выходе блока 5 GPT-2 small на OpenWebText. На другом слое, другой модели или заметно другом распределении текста $\mu$, $s$ и ковариация другие — переносимость не проверялась.

Что внутри репозитория

Ссылки

Код, отчёт и полный протокол эксперимента: https://github.com/listussr/llm-interpretability