Vikhrmodels_-_Vikhr-Qwen-2.5-1.5B-Instruct-8bits

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Vikhr-Qwen-2.5-1.5B-Instruct - bnb 8bits

• Model creator: https://huggingface.co/Vikhrmodels/
• Original model: https://huggingface.co/Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct/

Original model description:

library_name: transformers model_name: Vikhr-Qwen-2.5-1.5B-Instruct base_model:

• Qwen/Qwen2.5-1.5B-Instruct language:
• ru
• en license: apache-2.0 datasets:
• Vikhrmodels/GrandMaster-PRO-MAX

---

💨🦅 Vikhr-Qwen-2.5-1.5B-Instruct

RU

Инструктивная модель на основе Qwen-2.5-1.5B-Instruct, обученная на русскоязычном датасете GrandMaster-PRO-MAX. Создана для высокоэффективной обработки текстов на русском и английском языках, обеспечивая точные ответы и быстрое выполнение задач.

EN

Instructive model based on Qwen-2.5-1.5B-Instruct, trained on the Russian-language dataset GrandMaster-PRO-MAX. Designed for high-efficiency text processing in Russian and English, delivering precise responses and fast task execution.

Quatized variants:

• GGUF Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct-GGUF
• MLX
  • 4 bit Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct-MLX_4bit
  • 8 bit Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct-MLX_8bit

Особенности:

• 📚 Основа / Base: Qwen-2.5-1.5B-Instruct
• 🇷🇺 Специализация / Specialization: RU
• 💾 Датасет / Dataset: GrandMaster-PRO-MAX
• 🌍 Поддержка: Bilingual RU/EN

Попробовать / Try now:

Описание:

RU

Vikhr-Qwen-2.5-1.5B-Instruct — мощная языковая модель, обученная на датасете GrandMaster-PRO-MAX, поддерживает генерацию инструкций, контекстные ответы и анализ текста на русском языке. Эта модель оптимизирована для задач инструктивного обучения и обработки текстов. Она подходит для использования в профессиональной среде, а также для интеграции в пользовательские приложения и сервисы.

EN

Vikhr-Qwen-2.5-1.5B-Instruct is a robust language model trained on the GrandMaster-PRO-MAX dataset. It excels in instruction generation, contextual responses, and text analysis in Russian. The model is optimized for instructional tasks and textual data processing, suitable for professional use as well as integration into user-facing applications and services.

Обучение / Training:

RU

Vikhr-Qwen-2.5-1.5B-Instruct была создана с использованием метода SFT (Supervised Fine-Tuning). Мы использовали синтетический датасет GrandMaster-PRO-MAX (150k инструкций), применяя подход CoT (Chain-Of-Thought) и промпты для GPT-4-turbo. Это позволило добиться высокой точности и когерентности ответов.

EN

Vikhr-Qwen-2.5-1.5B-Instruct was developed using the SFT (Supervised Fine-Tuning) method. The synthetic dataset GrandMaster-PRO-MAX (150k instructions) was used with CoT (Chain-Of-Thought) methodology and GPT-4-turbo prompts, enabling high accuracy and coherence in responses.

Пример кода для запуска / Sample code to run:

Рекомендуемая температура для генерации: 0.3 / Recommended generation temperature: 0.3.

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load the model and tokenizer
model_name = "Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Prepare the input text
input_text = "Напиши краткое описание книги Гарри Поттер."

messages = [
    {"role": "system", "content": "Вы — Vikhr, ИИ помощник, созданный компанией Vikhr models для предоставления полезной, честной и безопасной информации."},
    {"role": "user", "content": input_text},
]

# Tokenize and generate text
input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids,
    max_length=1512,
    temperature=0.3,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    top_k=50,
    top_p=0.95,
)

# Decode and print result
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Ответ модели / Model response:

Книга "Гарри Поттер" — это популярное произведение в жанре фэнтези, которое исследует темы дружбы, магии и борьбы со злом. Главный герой проходит путь взросления, преодолевая препятствия и сталкиваясь с моральными вызовами.

Авторы / Authors

• Sergei Bratchikov, NLP Wanderer, Vikhr Team
• Nikolay Kompanets, LakoMoor, Vikhr Team
• Konstantin Korolev, Vikhr Team
• Aleksandr Nikolich, Vikhr Team

@inproceedings{nikolich2024vikhr,
  title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov},
  booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024},
  year={2024},
  publisher={Association for Computational Linguistics},
  url={https://arxiv.org/pdf/2405.13929}
}