HOTHUN-Stheno-3.2-v1.3-GGUF

This model has been fine-tuned exclusively in Hungarian; it has not been modified or further trained in English or any other language!

---

A HOTHUN modellekről

Ez egy hobbiból készült, nsfw projekt, melynek célja, hogy azokat a modelleket, melyek eddig is tudtak valamilyen szinten magyarul, nsfw-képessé tegyem chatelésre, a modell stílusának megőrzésével vagy minimális változtatásával. Tehát a modellek elsősorban privát chatre készültek, 4096-os ctx ablakméretre.

Fontosnak tartottam, hogy a modellek mobilon is futtathatók legyenek, viszont ez az elhatározásom komoly korlátokat állított fel:

• a forrásmodell ne legyen 8B-nél nagyobb (maximum 9B)
• alapból tudjon magyarul valamilyen szinten
• az eredeti modellnek is legyenek nsfw képességei
• Q4_0 kvantáláson (a mobilok hardveres támogatása miatt) ne essen szét túlságosan a magyar nyelv.
• lehetőleg megmaradjon az eredeti modell gondolkodása, stílusa

azaz azt nyújtsa a modell, amit eredetileg angolul, csak magyar nyelven.

Több kihívással kellett szembenéznem:

• az eredeti magyar datasetek szemetesek. Tehát amikkel az eredeti alapmodellt (például a Llama3 vagy Qwen) betanították, nem voltak kipucolva, nyelvtani és elütési hibákat tartalmaztak. Ezek a hibák a kis méretű modelleknél még inkább megjelennek, azaz felerősödik a "zaj".
• új szavakat kellett magyarul megtanulnia a modellnek, mert az eredeti magyar datasetek nem rendelkeznek nsfw szókinccsel, azaz nem fedik le teljesen a magyar nyelvet. Így az eredeti modellek a válaszadáskor nem ismerték magyarul azt a szót, amit angolul igen.
• az új szavakat is helyesen ragozza, de a régi, hibás szavak ragozási bakijait is csiszolni kellett.
• a magyar nyelv és ragozás kihívásai, szépségei, azaz a modell magyarul is képes legyen úgy fogalmazni, ahogy angolul.
• az edzett modellek már finomhangolások, azaz torzult bennük a magyar nyelv az eredeti alapmodellhez képest, viszont a stílusuk egyedibb, mint az eredetié.

Ezután olyan magyar adatbázisokat kellett keresnem, melyek nyilvánosan használhatók (ld. lentebb), illetve copyright-mentesek. Ezek között szintén nem volt nsfw szókincsű adatbázis, ezért a Gemini segítségével jó pár datasetet generáltattam, melyek egy része a nyelvtani kiigazításra összpontosítottak, más része az nsfw, vulgáris, obszcén szavakat helyezi előtérbe. Tehát a HOTHUN modellek erősen vulgáris nyelvezetűek, emiatt elsősorban személyes felhasználásra javaslom őket!

A modellek érdekessége, hogy kétféle modellbeállításon másképp működnek.

• Mirostat+Temp használatával sokkal természetesebbek, jobban átlátják a helyzetet, és logikusabb válaszokat adnak, de egy idő után hurokba kerülnek.
• Hagyományos paraméterekkel (Temp, Top-P, Top-K, Min-P, Repetition Penalty) sokkal kötetlenebb a beszélgetés, de nehezebb a történetkövetés, azaz a modell inkább önfejű. Általában érdemes ezt a kettőt kombinálni úgy, hogy ha a Mirostat kezd hurokba fordulni (ismétel, hasonló a szöveg mintázata), érdemes kicsit kizökkenteni a hagyományos paraméterek használatával, majd pár válasz után visszalépni a Mirostat-os módba. Szerencsére a legtöbb LLM program már támogatja a paraméter-profilok mentését, így pár kattintással vissza lehet jutni. Ha nem jó választ kapnál, generáld újra, általában második-harmadik esetben már jó válaszokat kapsz, de ez a szóhasználattól, system prompttól, valamint karakterlaptól is erősen függ! A magyar nyelv miatt más paramétereket kell beállítani, mint az eredetileg ajánlottak!

Melyiket válasszam?

• A Stheno közvetlen, nyersebb stílusú, szerepjátékokra is jó, Llama3 formátumú
• A Hermes inkább mesélő, narratív, ChatML formátumú

v1.3 modellek véltozásai az 1.2 verzióhoz képest

• Az alapmodellt először előedzettem a saját könyveim szövegével, hogy kicsit javuljon a nyelvtan, majd ezt finomhangoltam. Tesztjeim szerint egy fokkal jobb lett a magyarja, de még lehetne mit csiszolni, vagy több mintaszöveget adni (csak akkor a sok szöveg stílusa nagyon ráülne a modellre). Ha pedig nem tetszik a válasz, generáld újra.
• Az edzési mintákból kivettem egy roleplay datasetet, mert kiderült, ez problémát okozott a szerepjátékoknál. Mivel a modellek jók szerepjátékokban, ezért csak egy kisebb csiszolást végeztem rajta.
• Hozzáadtam egy 100-as mintájú ruha-datasetet, és bár jobb lett a ruhák értelmezése és viszonya az emberi testen, még mindig akadhatnak érdekes együttállások. Ezek modellből is jöhetnek, később kiderül, kell-e még több minta vagy sem.
• A Q4_0 modellt teszteltem ChatterUI-n, és elsősorban egy-két birtokos ragozási probléma merült fel (férjem/férjed), de alapjában jó válaszokat kaptam.
• A temp-et érdemes 0.4-0.5-ön használni, 0.6-on kezd kicsit elvadulni. 0.5-ön is elég forró lesz, higgyétek el.

Generálási paraméterek

Minden LLM programban és kvantálással más-más paramétereket kell beállítani a jó válaszok érdekében! A ChatterUI-ban ezeket találtam a legjobbnak:

-- Mirostat módban (az alapbeállítások jók, de néha érdemes játszani velük):

Temp: 0.45 (Hermes) - 0.5 (Stheno)
Mirostat Mode: 2
Mirostat Tau: 5 (4-5.5 között)
Mirostat Eta: 0.1 (maximum 0.2)

-- Hagyományos módban - mindkét modellhez (engedd el a gyeplőt, jobb lesz, hidd el):

Temp: 0.4-0.5
Top-P: 1
Top-K: 0
Min-P: 0
Repetition Penalty Range: 1024 (ha a modell nagyon beragad a szövegbe, vedd le akár 384-ig)
Repetition Penalty: 1.03 vagy 1.1 (1.03 esetén simulékonyabb, 1.1-gyel kicsit radikálisabb és logikusabb)
Presence Penalty: 0 (maximum 0.1-ig menj fel, illetve 0.5 jó a modell kizökkentésére)

A Hagyományos mód értékei eltérnek az eredeti modelltől a magyar nyelv ragozásai miatt. Érdemes teljesen elengedni a gyeplőt (Top-P, Top-K, Min-P), tapasztalataim szerint jobb lesz a szöveg ezek nélkül, de kinek mi a szimpatikus. Ettől függetlenül mindkét modellnél próbáld ki még az alábbi beállítást is, bár a tesztjeim szerint izgalmas válaszok születnek:

Temp: 0.6-0.7
Top-P: 0.9
Top-K: 0
Min-P: 0.15
Repetition Penalty Range: 1024
Repetition Penalty: 1.03 vagy 1.1
Presence Penalty: 0

vagy:

Temp: 0.6-0.7
Top-P: 0.9
Top-K: 2
Min-P: 0
Repetition Penalty Range: 1024
Repetition Penalty: 1.03 vagy 1.1
Presence Penalty: 0

Ha a modellt vagy a karakterlapot tesztelnéd, akkor innen indulj el:

Temp: 0.01
Top-P: 1
Top-K: 0
Min-P: 0
Rep. Penalty: 1
Presence Penalty: 0
Freq Penalty: 0

Ezekkel a beállításokkal jó szöveget kell adnia, ha a ragozás sok helyen szétesik vagy nem jól válaszol, akkor ellenőrizd a System promptot, rövidítsd a karakterlapot, ellenőrizd a beírt válaszodat! Ha találsz jobb paramétereket, a program megjelölésével jöhetnek kommentbe!

Roleplay/szerepjáték: Stheno modellel jobban működik. Válasznál javaslom, hogy legalább két ponton erősítsd meg, hogy mit választasz a stabilabb folytatásért. Például: "A kettest választom, a lelakatolt ajtót." A System promptba vagy a karakterlap elejére érdemes beírni egy ilyen szöveget is: "Ez egy szerepjáték, a válaszaid végén mindig adj 2-5 számozott lehetőséget!"

További tervek

• a datasetek javítása: ez lassú munka, mert nem csak nyelvtanilag és fogalmazásban, helyesírásban kell átnéznem, hanem igyekszem a Gemini által generált mintákat is "zajosítani" (sokszor hasonló szöveget, történetet generált, amit a képzés során átvehetett). Igyekszem természetesebbé tenni a mintákat.
• más 7-9B-s modellek edzése (például Magnum, Qwen) a tisztított datasetekkel.
• 4B-s modellek nincsenek tervben. Qwen3 4B-vel kísérleteztem, de olyan kicsi a modell edzhető területe, hogy igencsak szűkre kellene állítani a generálási paramétereket, hogy viszonylag releváns válaszokat kapjak (a helyes ragozás pedig álom). Lorával ezt nem tudom megtörni, csak egy teljes finetune oldhatná fel ezt a problémát, amihez nincs elég datasetem, sem pénzem, sem időm, sajnálom.
• datasetek megosztása, amikor úgy érzem, kipucoltam ezeket. Figyelem, ezek (időnként durva és nem konszenzusos) nsfw párbeszédeket és szituációkat is tartalmaznak, szóval még kitalálom, hogyan oszthatom meg.

Források

A datasethez az alábbi forrásokat használtam fel:

• Alpaca magyar datasetből 1000 példát
• HuCola adatbázisból 300 példát
• Opus novellákból 25 példát fordítottam le DeepL segítségével
• Geminivel generáltam többféle datasetet, összesen 2375 mintát.
• saját könyveim, 25 minta előedzéshez

Az imatrix magyar szöveg alapján készült, melyhez az alábbi helyekről vettem mintákat:

• KMDB dataset (hírek)
• Bartowski imatrix szöveg magyarra fordítva
• Lewdiculous imatrix szöveg magyarra fordítva
• Gemini generált szöveg
• Saját könyvem, a Házinyuszi

Licencek:

Mindegyik modellnél az eredeti modell licencei szerepelnek.