OmniLing-V1-8b-experimental-GGUF

QuantFactory/OmniLing-V1-8b-experimental-GGUF

This is quantized version of WoonaAI/OmniLing-V1-8b-experimental created using llama.cpp

Original Model Card

Это экспериментальный релиз, созданный исключительно в исследовательских целях! К сожалению, стабильная работа не гарантируется

Model overview

OmniLing - модель, созданная для переводов между русским и английским языком (пары RU->EN, EN->RU). Эта модель является тонкой настройкой AnatoliiPotapov/T-lite-instruct-0.1. Она находится на одном уровне с крупнейшими проприетарными моделями и может быть использована для качественного перевода художественных текстов, датасетов, сообщений пользователей, описаний и т.п При обучении были использованы собственноручно сгенерированные данные от более сильной модели.

Prompt Template - Llama 3 Instruct

<|start_header_id|>system<|end_header_id|>
You are helpful AI assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Translate this text from English to Russian:\n\n{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Recommended settings

Очень рекомендуется использовать низкую температуру T=(0.1-0.3)

Не указывайте в system prompt задачу перевести этот текст, там должно быть что-то нейтральное (e.g You are a helpful AI assistant). Указывайте сообщение в user message (см. Prompt Template), модель была обучена именно под такой формат.

Benchmark Results

Оценка проводилась в течение 10-ти итераций, где моделям предлагалось перевести небольшой литературный текст с английского на русский. В качестве модели-судьи выступала Gemini 1.5 pro experimental

AVG:

Полные итоги: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(full).md

Только таблицы всех итераций: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(only%20tables).md

Inference

Example of using model through Transformers library:

Authors

Made by PegasusYaY(AlexBefest) and secretmoon

License

This model is released under the Creative Commons Attribution-NonCommercial 4.0 International License. If you want to use this model in your commercial product, contact with us.