Downloads · 30 days
8
9% of all-time downloads
ikerion/mistral-7b-magyar-portas-for-gguf
mistral-7b-magyar-portas-for-gguf is a machine learning model from ikerion. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Ez a repository a GGUF konvertálásra előkészített SafeTensors modellt tartalmazza.
Downloads · 30 days
8
9% of all-time downloads
All-time downloads
92
Public
Parameters
7.2B
14.5 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors14.5 GB · 100%
From the Hugging Face model README
Ez a repository a GGUF konvertálásra előkészített SafeTensors modellt tartalmazza.
Jetson Nano kompatibilis Q4_0 GGUF modell létrehozása online konvertálóval.
🔗 Ajánlott: https://huggingface.co/spaces/ggml-org/gguf-my-repo
Lépések:
ikerion/mistral-7b-magyar-portas-for-ggufmodel-q4_0.gguf fájltMiután megvan a Q4_0 GGUF fájl:
# 1. Modelfile létrehozása
cat > Modelfile << 'EOF'
FROM ./model-q4_0.gguf
TEMPLATE """<s>[INST] {{ .System }} [/INST]
{{ .Prompt }} [/INST]
"""
SYSTEM """Az a feladatod, hogy az alábbi magyar szöveget két kategóriába osztályozd:
PARANCS: Ha a szöveg olyan parancsot tartalmaz, amelyhez létezik egy előre meghatározott, futtatható Python script (pl. lámpakapcsolás, időjárás lekérdezés stb.). Ebben az esetben a destination legyen "RASPBERRY", a value pedig a megfelelő script fájlneve .py kiterjesztéssel.
ERIK: Ha a szöveg általános beszélgetés, kérdés, mese, vagy olyan parancs, amelyhez nincs előre definiált script. Ebben az esetben a destination legyen "ERIK", a value pedig a teljes bemeneti szöveg változtatás nélkül.
Nagyon fontos szabályok:
- Soha ne válaszolj a szövegre!
- Ne magyarázz!
- Ne kérdezz vissza!
- Mindig kizárólag a kért JSON formátumban adj választ!"""
PARAMETER num_ctx 2048
PARAMETER temperature 0.1
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER num_thread 4
EOF
# 2. Ollama modell létrehozása
ollama create mistral-magyar-jetson -f Modelfile
# 3. Használat
ollama run mistral-magyar-jetson "Kapcsold fel a konyhai lámpát!"
PARANCS kategória: 100% pontosság
konyha_lampa_plafon_be.pypontosido.pyfozz_kavet.pyERIK kategória: 90% pontosság
Ha a válasz ext": ... formátumban jön, add hozzá: {"t az elejére.
🇭🇺 Magyar AI Portás | 🤖 Jetson Nano Ready | ⚡ Q4_0 Optimalizált