dadoaivuni

dadoaivuni — FurTricks LTX-2.3 Audio/Video completo

Checkpoint completo ottenuto unendo il denoiser fine-tunato di Novius/FurTricks con i moduli non-denoiser di Lightricks/LTX-2.3.

Abilita audio+video sincronizzati, inclusi image-to-audio-video e text-to-audio-video, che il checkpoint FurTricks originale da solo non poteva eseguire.

Cosa cambia rispetto a FurTricks

FurTricks pubblica solo il denoiser (4186 tensori). Contiene già l'intero dual-stream audio-video fine-tunato — 2663 tensori audio, cross-attention audio_to_video_attn / video_to_audio_attn su tutti i 48 blocchi — ma gli mancano i moduli esterni al denoiser, senza i quali non è eseguibile.

Questo checkpoint aggiunge i 1761 tensori mancanti:

Risultato: 5947 tensori, come LTX-2.3.

Come è stato costruito

Il merge è additivo: FurTricks prevale su ogni chiave che possiede, LTX fornisce solo le assenti. Il fine-tune è preservato per costruzione — non esiste alcun percorso in cui un peso FurTricks venga sostituito.

Verificato sui checkpoint reali prima del merge:

tensori LTX                       5947  (atteso 5947)  ✓
tensori FurTricks                 4186  (atteso 4186)  ✓
chiavi FurTricks assenti in LTX      0                 ✓
shape mismatch                       0                 ✓
tensori mancanti                  1761                 ✓

L'unica eccezione: 290 tensori adaLN

LTX-2.3 memorizza 290 parametri di modulazione (*scale_shift_table*) in F32; FurTricks li memorizza in BF16. Il checkpoint fp8 ufficiale di Lightricks li mantiene in F32, escludendoli da ogni quantizzazione: sono i più sensibili alla precisione.

Il merge fa upcast BF16 → F32 su questi 290. L'upcast è lossless (stesso esponente a 8 bit, mantissa 23 contro 7): il valore fine-tunato è preservato esattamente. Senza, il checkpoint avrebbe 290 tensori a metà precisione senza alcun errore visibile.

Uso

Richiede il runtime ufficiale — diffusers non supporta LTX-2.3 ("coming soon" nel model card ufficiale):

pip install ltx-core ltx-pipelines

Formato di prompt con cui FurTricks è stato addestrato:

[e621 tags]. [Subject]. [Action]. [Camera]. [Lighting]. [Audio].

Il campo [Audio] finale guida lo stream audio.

anthro, dragon, blue_scales, male, muscular. A blue-scaled anthropomorphic dragon.
Swims gracefully through a sunlit underwater cavern, fins rippling.
Smooth tracking shot following from the side. Soft caustic lighting from the surface.
Ambient underwater bubbling sounds.

Requisiti hardware

Nota: su GPU Ampere (A40, A100) fp8 non ha supporto hardware nativo — risparmia VRAM ma non aumenta la velocità.

Limiti

Lingua del parlato. Il model card di LTX-2.3 si contraddice: l'header YAML dichiara 9 lingue (italiano incluso), il corpo dice Language(s): English. In più FurTricks è fine-tunato su ~5000 video con caption inglesi. Per audio ambientale/SFX la lingua è irrilevante; per il parlato non inglese non c'è garanzia. LTX segnala inoltre: "When generating audio without speech, the audio may be of lower quality."

Contenuto NSFW. Derivato da un fine-tune su dataset E621. Solo per adulti.

Licenze

Eredita entrambe le licenze a monte:

• LTX-2 Community License (Lightricks) — testo
• lightricks-research-license di FurTricks

Le licenze "research" tipicamente limitano l'uso commerciale e talvolta la ridistribuzione di pesi derivati. Verifica il testo di entrambe prima di usare questo modello commercialmente.

Crediti

• Lightricks — LTX-2.3, architettura e pesi base
• Novius — fine-tune FurTricks
• LiconStudio — LoRA VBVR I2V, mergiata in FurTricks prima del training

Strumenti di analisi e merge: furtricks-ltx23-av-restore.

File in questo repo