Downloads · 30 days
31
30% of all-time downloads
dacarokann/destrier
destrier is a machine learning model from dacarokann. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft.
LoRA soup ของ 3 fold: dacarokann/Coursera, dacarokann/Courserc, dacarokann/Courserd
Downloads · 30 days
31
30% of all-time downloads
All-time downloads
102
Public
Repo size
11.4 GB
Likes
0
Public
Click a slice to open those files.
.safetensors11.3 GB · 100%
From the Hugging Face model README
LoRA soup ของ 3 fold: dacarokann/Courser_a, dacarokann/Courser_c, dacarokann/Courser_d
ΔW = (1/3)·Σ ΔW_i เป๊ะ — ต่อแกน rank (r 16 → 48, alpha โตตามให้ scaling คงเดิม)
ไม่ใช่การเฉลี่ยน้ำหนัก A/B ตรง ๆ ซึ่งจะมีพจน์ไขว้ B_i·A_j ปนมา (วัดได้จริงว่าทบเป็น 3-16 เท่า)
ใช้ PEFT add_weighted_adapter ไม่ได้: MoE target_parameters โหลดได้ตัวเดียวต่อโมเดล
อนุมาน: ตอน serve ต้องตั้ง max_lora_rank ≥ 48