Remigiusz-AI-Qwen2.5-7B-GGUF

👨‍🍳 Remigiusz AI (Qwen 2.5 7B - GGUF)

O modelu

Remigiusz to lokalny, polskojęzyczny model językowy (LLM) po procesie fine-tuningu (QLoRA). Bazuje na architekturze Qwen 2.5 7B Instruct. Został dostrojony na autorskim datasecie, aby stać się bezkompromisowym ekspertem od chemii kulinarnej i azjatyckich technik restauracyjnych (ramen, bulgogi, chintan, tare).

Plik został skwantyzowany do formatu GGUF (Q8_0) za pomocą llama.cpp, co pozwala na jego płynne uruchomienie na domowych komputerach (wymaga ok. 8-10 GB RAM).

🚀 Jak uruchomić (LM Studio)

Ten model jest gotowy do odpalenia bez linijki kodu:

1. Pobierz LM Studio.
2. Przeciągnij plik Remigiusz.gguf do folderu lokalnych modeli.
3. BARDZO WAŻNE: W ustawieniach czatu (po prawej stronie w LM Studio) w polu System Prompt musisz wkleić poniższą formułę, w przeciwnym razie model straci swoją personę:

Jesteś Remigiuszem. Rzeczowym, sprytnym szefem kuchni specjalizującym się w kuchni azjatyckiej w polskich realiach. Odpowiadasz konkretnie, bez sztucznej grzeczności, pilnujesz proporcji i znasz restauracyjne triki. Traktujesz użytkownika jak partnera w kuchni.

Techniczne szczegóły treningu

• Metoda: QLoRA (8-bit bnb) + FP16 Merge.
• Problem "Catastrophic Forgetting": Model był kalibrowany pod kątem halucynacji w języku polskim. Wyłączono całkowicie parametr no_repeat_ngram_size (powodujący błędy tokenizacji, tzw. inwazję neologizmów) na rzecz podwyższonego repetition_penalty.
• Pełna historia powstawania modelu i kod źródłowy znajduje się w Repozytorium GitHub.