dpo-phase-logic

DPO Phase Logic — Qwen3.5-4B

LoRA-адаптер для Qwen3.5-4B, обученный методом DPO на 200 парах "правильное рассуждение / типичная ошибка".

---

Что это

Модель учится не только правильным ответам, но и избегает типичных логических ошибок. Каждая пара содержит:

• Chosen — корректное пошаговое рассуждение
• Rejected — распространённая ошибка с неверной логикой

---

Архитектура: Phase Attention

Кастомный слой, добавляющий фазовое кодирование к стандартному attention. LoRA обучает только phase_q и phase_k.

# Фазовые тензоры
phase_q = Linear(hidden_size, num_heads)
phase_k = Linear(hidden_size, num_heads)

# Модуляция attention
phase_factor = cos(phase_q - phase_k)
attn_output = attn_output * (1.0 + 0.1 * phase_mod)

Важно: Phase Attention не встроен в базовую модель. Для инференса требуется monkey-patching (см. код ниже).

---

Датасет: 200 пар

---

Примеры из датасета

1. Математика: Приоритет операций

Вопрос: Вычисли: 10 + 20 * 2

---

2. Логика: Импликация

Вопрос: Если идёт дождь → асфальт мокрый. Асфальт мокрый. Идёт ли дождь?

---

3. Инженерия: Газовые турбины

Вопрос: Почему при резком увеличении топлива возникает помпаж компрессора?

---

4. Робототехника: Сингулярности

Вопрос: Что произойдёт, когда оси 4 и 6 робота выстроятся в линию?

---

5. Физика: Эффект Джоуля-Томсона

Вопрос: Почему дросселирование охлаждает реальный газ, но не идеальный?

---

6. Философия Канта: Пространство и время

Вопрос: Являются ли пространство и время физическими контейнерами?

---

7. Адвайта: Брахман и Майя

Вопрос: Как в Брахмане существует Вселенная?

---

Параметры обучения

---

Использование

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

BASE = "Qwen/Qwen3.5-4B"
ADAPTER = "IImasterII/dpo-phase-logic"


# === 1. PHASE ATTENTION LAYER (обязательно для инференса) ===
class PhaseAttentionHybrid(torch.nn.Module):
    def __init__(self, base_attn, config):
        super().__init__()
        self.base_attn = base_attn
        self.config = config
        self.num_heads = getattr(config, "num_attention_heads", getattr(config, "num_heads", 16))
        self.hidden_size = getattr(config, "hidden_size", 2048)
        self.phase_q = torch.nn.Linear(self.hidden_size, self.num_heads, bias=False)
        self.phase_k = torch.nn.Linear(self.hidden_size, self.num_heads, bias=False)

    def forward(self, *args, **kwargs):
        hidden_states = args[0] if len(args) > 0 else kwargs.get("hidden_states")
        base_out = self.base_attn(*args, **kwargs)
        if isinstance(base_out, tuple):
            attn_output, past = base_out[0], base_out[1:]
        else:
            attn_output, past = base_out, None
        
        phase_q = self.phase_q(hidden_states)
        phase_k = self.phase_k(hidden_states)
        p_q = phase_q.unsqueeze(2)
        p_k = phase_k.unsqueeze(1)
        phase_factor = torch.cos(p_q - p_k)
        phase_mod = phase_factor.mean(dim=(2, 3)).unsqueeze(-1)
        
        attn_output = attn_output * (1.0 + 0.1 * phase_mod)
        return (attn_output, *past) if past else attn_output


# === 2. ЗАГРУЗКА БАЗОВОЙ МОДЕЛИ ===
tokenizer = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    BASE,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)


# === 3. PATCHING (внедрение Phase Attention) ===
for layer in model.model.layers:
    if hasattr(layer, 'self_attn') and layer.self_attn is not None:
        if 'Phase' not in layer.self_attn.__class__.__name__:
            old_attn = layer.self_attn
            new_attn = PhaseAttentionHybrid(old_attn, model.config).to(model.device)
            layer.self_attn = new_attn


# === 4. ЗАГРУЗКА LORA АДАПТЕРА ===
model = PeftModel.from_pretrained(model, ADAPTER)
model.eval()


# === 5. ГЕНЕРАЦИЯ (формат Alpaca, использованный при обучении) ===
question = "В цепи ток 2 А, сопротивление 5 Ом. Какое напряжение?"
text = f"### Instruction:\n{question}\n### Response:\n"
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256)

input_length = inputs.input_ids.shape[1]
response = outputs[0][input_length:]
print(tokenizer.decode(response, skip_special_tokens=True))

---

Файлы

---

Ограничения

• Датасет: 200 пар — экстремально мало для DPO
• Язык: русские задачи
• Phase Attention: требует monkey-patching при загрузке
• Область: рассуждения, не общие разговоры

---

Лицензия

Apache 2.0

Базовая модель Qwen3.5-4B — см. её лицензию.