Downloads · 30 days
155
17% of all-time downloads
Tivaphraen/LFM2-8B-A1B-smoltalk-GGUF
LFM2-8B-A1B-smoltalk-GGUF is a text generation model from Tivaphraen. Use it when you need the model to write or continue text. The card lists the license as other.
Ce dépôt contient les quantifications au format GGUF du modèle LiquidAI/LFM2-8B-A1B-smoltalk-LoRA.
Downloads · 30 days
155
17% of all-time downloads
All-time downloads
934
Public
Repo size
35.4 GB
Likes
0
Public
Click a slice to open those files.
.gguf35.4 GB · 100%
From the Hugging Face model README
Ce dépôt contient les quantifications au format GGUF du modèle LiquidAI/LFM2-8B-A1B-smoltalk-LoRA.
⚙️ Paramètres de génération recommandés (LFM2) Temperature = 0.3 Min_p = 0.15 Repetition_penalty = 1.05
🛠️ Méthode de quantization
merge_and_unload() de l'adaptateur LoRA dans le base model (PEFT >= 0.19.2.dev0, Transformers main)
Conversion HF → GGUF BF16 via convert_hf_to_gguf.py
Quantization via llama-quantize (llama.cpp)
📜 Licence Hérite de la licence du base model : LFM Open License v1.0.
🙏 Remerciements Liquid AI pour le base model et l'adaptateur LoRA HuggingFaceTB pour le dataset SmolTalk llama.cpp pour la quantization