Vikhr-7B-instruct-GGUF

Vikhr-7B-instruct-GGUF

• Model creator: Vikhrmodels
• Original model: Vikhr-7B-instruct

Description

This repository contains quantized GGUF format model files for Vikhr-7B-instruct_merged.

Default message template:

<s>{role}\n{content}</s>\n

Default system prompt:

Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.

Example llama.cpp command

./main -m Vikhr-7B-instruct-Q4_K_M.gguf -c 32768 -n -1 -p $'<s>system\nТы — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>\n<s>user\nКак тебя зовут?</s>\n<s>bot\n'

system
Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.
user
Как тебя зовут?
bot
Я называю себя Вихрем! [end of text]

For other parameters and how to use them, please refer to the llama.cpp documentation