Downloads · 30 days
4
22% of all-time downloads
gpt2-one-euler-steering-denoiser
vladotpad/gpt2-one-euler-steering-denoiser
gpt2-one-euler-steering-denoiser is a machine learning model from vladotpad. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
Чекпойнт тестового задания T-LAB, направление mechanistic interpretability.
All-time downloads
18
Public
Repo size
330 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.pt330 MB · 100%
At a glance
- License
- mit
- Access
- Public
- Created
- Aug 23, 2026
- Updated
- Aug 23, 2026
- SHA
- 033b9d57
Base models
Model card
From the Hugging Face model README
One-Euler denoiser для steering GPT-2
Чекпойнт тестового задания T-LAB, направление mechanistic interpretability.
Denoiser обучен на естественных активациях GPT-2 small и возвращает активацию, сдвинутую линейным steering, обратно к многообразию естественных активаций. Обучение идёт по velocity field в духе flow matching, а на inference делается один шаг Эйлера вместо двадцати.
| метод | NLL | property | мс/токен |
|---|---|---|---|
| GLP, 20 шагов | 3.190 | 0.806 | 10.795 |
| GLP, один шаг Эйлера | 3.192 | 0.807 | 1.405 |
| наивный steering без repair | 3.073 | 0.785 | 0.275 |
Одношаговый вариант даёт то же качество, что двадцатишаговый, при вмешательстве в 7.7 раза более быстром. Время измерено как длительность самого repair, а не полный wall-clock генерации.
Активации собраны на FineWeb, train и validation разделены по хешу документа, BOS исключён, validation direction не участвовало в обучении denoiser. Property меряется SST-2-классификатором, quality — conditional continuation NLL под чистой GPT-2. Три training seeds, M1 Max.
Код, отчёт со всеми экспериментами и самодостаточная HTML-диагностика — в репозитории проекта.
- License
- mit
- Created
- Aug 23, 2026
- Updated
- Aug 23, 2026