dracarys2-72b-instruct

!git clone https://github.com/ggerganov/llama.cpp

%cd llama.cpp

!make

!./llama-cli -h

!./llama-gguf-split --split-max-size 5G /content/dracarys2-72b-instruct.Q2_K.gguf dracarys2-72b-instruct.gguf

from huggingface_hub import upload_file

رفع جزء النموذج الأول

upload_file( path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf", # استبدل <PATH_TO_PART_1> بمسار الجزء الأول path_in_repo="dracarys2-72b-instruct.gguf-00001-of-00006.gguf", # اسم الملف في المستودع repo_id=repo_name, # اسم المستودع )

رفع جزء النموذج الثاني

upload_file( path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00002-of-00006.gguf", # استبدل <PATH_TO_PART_2> بمسار الجزء الثاني path_in_repo="dracarys2-72b-instruct.gguf-00002-of-00006.gguf", # اسم الملف في المستودع repo_id=repo_name, # اسم المستودع )

وهكذا لبقية الأجزاء

!./llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup

!./bin/llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "Hi you how are you" -n 50 -e -ngl 33 -t 4

run it !./llama-cli -m "/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup