best_Persian_LLM_AYA23_GGUF

Quantized AYA23

this is the Best Persian LLM can you use locally. I tested it on Intel(R) Corei5-12400F 2.50 GHz and it did well.
Also, you should have +16Gig RAM and +8Gig VRAM on the GPU.

This is the code that you can use for your prompts:

from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.chains import LLMChain
from langchain.llms import LlamaCpp
from langchain.prompts import PromptTemplate

n_gpu_layers = 14  # Change this value based on your model and your GPU VRAM pool.
n_batch = 50  # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU.

# Callbacks support token-wise streaming
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

# Make sure the model path is correct for your system!
llm = LlamaCpp(
    model_path="aya-23-8B-GGUF/aya-23-8B-Q4_K_S.gguf",
    n_gpu_layers=n_gpu_layers,
    n_batch=n_batch,
    max_new_tokens=512,
    callback_manager=callback_manager,
    verbose=True,  # Verbose is required to pass to the callback manager
)
# Prompt Template
template = """
    متن زیر را خلاصه کن:
    {prompt}
    """
prompt = input("Please enter the prompt: ")
prompt_template = PromptTemplate(input_variables=["prompt"], template=template)

# Create the LLM Chain
llm_chain = LLMChain(llm=llm, prompt=prompt_template)

# Run the chain with a specific prompt
res = llm_chain.run(prompt=prompt)
print(res)

Change the text on the template and be sure that defines your task in this part. Then you can give the text in the prompt variable or get it from input.

I prepared a sample for you that shows the power of this model.

Example

Main

<p dir="rtl"> در سال ۶۳۴ میلادی، جنگ قادسیه بین سپاه مسلمانان و امپراتوری ساسانی ایران رخ داد. این نبرد یکی از مهم‌ترین وقایع تاریخ اسلامی بود که به فتح ایران توسط اعراب منجر شد. فرمانده سپاه مسلمانان، سعد بن ابی وقاص، توانست در این نبرد پیروزی قاطعی به دست آورد. امپراتور یزدگرد سوم، آخرین شاه ساسانی، پس از این شکست به نواحی شرقی ایران گریخت. این جنگ نقطه آغاز افول امپراتوری ساسانی و گسترش اسلام در ایران بود. فتح قادسیه تأثیر عمیقی بر تاریخ و فرهنگ منطقه گذاشت.عوامل متعددی در پیروزی مسلمانان نقش داشتند، از جمله تاکتیک‌های نظامی هوشمندانه و استفاده از نیروی انسانی بیشتر. همچنین، اختلافات داخلی در دربار ساسانی و نارضایتی عمومی از حکومت نیز به ضعف نیروهای ایرانی انجامید. بعد از این نبرد، شهرهای مهمی چون تیسفون، پایتخت ساسانیان، به دست مسلمانان افتاد. فتح تیسفون، که به نام مدائن نیز شناخته می‌شود، نماد شکست نهایی امپراتوری ساسانی بود. پس از این پیروزی‌ها، خلافت اسلامی توانست به سرعت مناطق وسیعی از ایران را تحت کنترل خود درآورد. این تحولات نه تنها جغرافیای سیاسی منطقه را تغییر داد، بلکه به تبادل فرهنگی و علمی بین تمدن‌های ایرانی و اسلامی انجامید </p>

Summarized

<p dir="rtl"> نبرد قادسیه در سال ۶۳۴ میلادی رخ داد که به پیروزی مسلمانان و فتح ایران توسط اعراب انجامید. این نبرد نقطه افول امپراتوری ساسانی و گسترش اسلام بود. عوامل متعددی در پیروزی مسلمانان نقش داشت، از جمله تاکتیک‌های نظامی هوشمندانه و استفاده از نیروی انسانی بیشتر. فتح تیسفون نیز نماد شکست امپراتوری ساسانی بود که بعداً به خلافت اسلامی پیوست. این تحولات جغرافیای سیاسی منطقه را تغییر داد و به تبادل فرهنگی و علمی بین دو تمدن انجامید. </p>

Don't forget to star🌟 us after using this repo.