LFM2.5-2.6B-TAGI-SVD-20

LFM2.5-2.6B-TAGI-SVD-20

Mô hình nén 20.0% tham số từ mô hình gốc LiquidAI/LFM2.5-2.6B bằng phương pháp TAGI-SVD v2 (Two-
Round SVD Whitening + Null-Space Side-States).

📊 Kết Quả Đánh Giá & Benchmark

• Mô hình gốc: LiquidAI/LFM2.5-2.6B (2.6B tham số, 5.39 GB BF16)
• Tỷ lệ cắt giảm tham số: 20.0%
• Hạng kênh phụ trực giao ($r_{\text{side}}$): 8
• Baseline PPL (Gốc): 21.0
• Compressed PPL (Sau nén): 50.5
• Độ bảo toàn chất lượng: 41.58%

🔬 Điểm Cốt Lõi Của Phương Pháp

1. Two-Round SVD Whitening: Làm trắng ma trận hiệp phương sai kích hoạt trên 500k-5M tokens hiệu chuẩn.
2. Null-Space Side-States ($r_{\text{side}} = 8$): Kênh phụ bù năng lượng bị cắt tỉa, triệt tiêu phân kỳ trạng thái qua 22 tầng
   Conv.
3. RoPE Commutant Procrustes: Giữ bất biến chuẩn Lie algebra $SO(2)$ cho 8 tầng Attention, bảo toàn khả năng xử lý ngữ cảnh dài.

🚀 Cách Sử Dụng Mô Hình

import torch                                                                                                                                         
from transformers import AutoModelForCausalLM, AutoTokenizer                                                                                         
                                                                                                                                                      
model_id = "YOUR_USERNAME/LFM2.5-2.6B-TAGI-SVD-20"                                                                                                   
                                                                                                                                                      
tokenizer = AutoTokenizer.from_pretrained(model_id)                                                                                                  
model = AutoModelForCausalLM.from_pretrained(                                                                                                        
    model_id,                                                                                                                                        
    torch_dtype=torch.float16,                                                                                                                       
    device_map="auto"                                                                                                                                
)                                                                                                                                                    
                                                                                                                                                      
prompt = "Giải thích ngắn gọn nguyên lý nén SVD cho mô hình ngôn ngữ lớn:"                                                                           
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)                                                                                     
with torch.no_grad():                                                                                                                                
    outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.7)                                                          
print(tokenizer.decode(outputs[0], skip_special_tokens=True))