gemma-dgmc-winogrande

Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on WinoGrande

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu WinoGrande (config winogrande_debiased), gắn thêm vào mô hình nền tảng đóng băng hoàn toàn google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được huấn luyện (28.3M tham số).

WinoGrande (Sakaguchi et al., 2019) là bộ dữ liệu commonsense reasoning kiểu Winograd Schema Challenge, được khử bias bằng thuật toán AFLITE.

Kết quả

Đánh giá trên validation split (test split không có nhãn công khai), bằng phương pháp so sánh logit(' A') vs logit(' B') — xem notebook để biết chi tiết khác biệt so với cách chấm điểm log-likelihood gốc của WinoGrande.

Cải thiện: +0.87 điểm phần trăm so với zero-shot.

Cấu hình DGMC

• block_size: 64
• memory_dim: 1536
• decay_alpha: 0.1

Cách sử dụng

Tải file dgmc_winogrande_weights.pt rồi load lại vào module DGMC tương ứng với kiến trúc trong notebook huấn luyện gốc:

import torch
ckpt = torch.load("dgmc_winogrande_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])

Model nền tảng google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen); adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay thế attention gốc của model.

Huấn luyện

• Dataset: WinoGrande (winogrande_debiased)
• Epochs: 10
• Learning rate: 0.0002
• Gradient accumulation steps: 16
• Max sequence length: 256