LoopedQwen-fixed-ma-seed43

LoopedQwen: фиксированный порядок MLP → Attention, seed 43

Лучший checkpoint проекта LoopedQwen, полученный в эксперименте 007. Это небольшая рекуррентная по глубине авторегрессионная языковая модель на основе декодера Qwen3. Одни и те же два физических декодерных слоя используются на каждой итерации.

Финальная архитектура применяет стандартные подслои Qwen3 в обратном порядке:

MLP → Attention

Изменение не добавляет параметров и не увеличивает число вызовов Attention/MLP относительно контроля Attention → MLP.

Параметры модели

При обучении используются intermediate LM losses на итерации 8, в midpoint и на выбранной конечной глубине. Финальная loss имеет вес 0,5, две ранние — по 0,25.

Результаты

Dense evaluation проводится на каждой целой глубине от 4 до 32 по 100 validation batches. Для каждой глубины генератор инициализируется одинаковым seed 1234, поэтому все depth оцениваются на одном и том же наборе sampled batches.

MLP → Attention снижает средний PPL по глубинам 8–24 на 14,76% для seed 42–44 и выигрывает во всех 87 проверенных сочетаниях «seed × depth».

Выбранный checkpoint с seed 43 имеет лучший PPL 905,82 на depth 11, средний PPL 912,40 на depth 8–24, PPL@16 909,87 и PPL@32 944,76.

Точное воспроизведение этих PPL требует исходного val.bin, использованного в эксперименте. Повторная подготовка validation stream из FineWeb воспроизводит протокол оценки, но из-за потокового источника данных не гарантирует точного совпадения абсолютных значений.

Загрузка

Репозиторий модели содержит пользовательский код Transformers. Используйте проверенную версию Transformers и явно разрешите загрузку custom code:

pip install "transformers==5.15.1" torch

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "Nek1tt/LoopedQwen-fixed-ma-seed43"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
).eval()

inputs = tokenizer(
    "Циклические языковые модели",
    return_tensors="pt",
)

with torch.no_grad():
    outputs = model(**inputs, num_loops=12)

print(outputs.logits.shape)

Ограничения

• Это исследовательская модель с 5,67 млн параметров, обученная менее чем на 10 млн токенов, а не универсальный ассистент.
• Perplexity достигает минимума примерно на 11–12 итерациях и затем медленно растёт; дополнительные вычисления при inference полезны не монотонно.
• KV cache отключён, потому что стандартный cache Qwen3 индексируется по физическим слоям, а не по позициям рекуррентной глубины.
• Опубликованные PPL получены на фиксированном validation stream FineWeb и не проверялись на задачах reasoning.
• При trust_remote_code=True выполняется пользовательский код модели, опубликованный вместе с checkpoint. Перед запуском можно проверить modeling_looped_qwen3.py.

Полные конфигурации, исходные кривые, анализ по seed 42–44, причинные вмешательства и инструкции воспроизводимости находятся в репозитории проекта.