trendyol_llm_7b_chat_v1_0_gguf

Trendyol LLM 7B Chat v1.0 (GGUF)

Bu model, Trendyol LLM 7B Chat modelinin GGUF formatına dönüştürülmüş, CPU üzerinde çalıştırılabilir versiyonudur. Model, Türkçe dilinde yüksek kaliteli yanıtlar üretmek üzere geliştirilmiştir ve Llama.cpp uyumlu altyapılarla kolayca entegre edilebilir.

🧠 Model Hakkında

Trendyol LLM, Türkçe doğal dil işleme ihtiyaçları için optimize edilmiş, 7 milyar parametreli güçlü bir dil modelidir. Bu sürüm, özellikle CPU tabanlı sistemlerde çalıştırılmak üzere GGUF formatına dönüştürülmüş ve llama.cpp, llama-cpp-python, text-generation-webui gibi çözümlerle uyumlu hale getirilmiştir.

Bu model aşağıdaki kullanım senaryoları için uygundur:

• Soru-cevap sistemleri
• Türkçe sohbet botları
• Özetleme ve yeniden yazma görevleri
• Komut anlama ve yürütme

💻 Teknik Detaylar

• Format: GGUF
• Quantization: q4_0, q4_K_M gibi farklı quantize edilmiş sürümler desteklenebilir
• Uygulama: llama-cpp, text-generation-webui, koboldcpp, llm CLI

🚀 Kullanım

Python ile Basit Kullanım (llama-cpp-python)

from llama_cpp import Llama

llm = Llama(model_path="trendyol_llm_7b_chat_v1_0_gguf/q4_0.gguf")
output = llm("Merhaba, sana nasıl yardımcı olabilirim?", max_tokens=100)
print(output["choices"][0]["text"])