T-Lite-Instruct-0.1-AWQ-4bit

T-lite-instruct-0.1

🚨 T-lite is designed for further fine-tuning and is not intended as a ready-to-use conversational assistant. Users are advised to exercise caution and are responsible for any additional training and oversight required to ensure the model's responses meet acceptable ethical and safety standards. The responsibility for incorporating this model into industrial or commercial solutions lies entirely with those who choose to deploy it.

Description

T-lite-instruct-0.1 is an instruct version of the T-lite-0.1 model.

T-lite-instruct-0.1 was trained in bf16.

T-lite-instruct-0.1 was quantified using the AWQ method.

Basic model: https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1

👨‍💻 Examples of usage

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
torch.manual_seed(42)

def get_device_map() -> str:
    return 'cuda' if torch.cuda.is_available() else 'cpu'
device = get_device_map() 

model_name = "models/T-Lite-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

messages = [
    {"role": "user", "content": "Напиши рецепт малинового пирога"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

model.generation_config.pad_token_id = tokenizer.pad_token_id
outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Output:

Конечно! Фруктовое желе — это простое, но очень вкусное и полезное лакомство на десерт. Можно выбрать самые разнообразные фрукты и ягоды за счёт сезона и доступности ингредиентов. Расскажу, как я это делаю:

**Нужные ингредиенты:**

- **Основной ингредиент:** 100-200 г. фруктов или ягод (можно смешать несколько видов, чтобы вкус получился ярким и разнообразным)
- Свежие фрукты требуют обработки, чтобы вытащить сок. Для ягод это может быть чуть менее актуально, но их тоже стоит размять для полного извлечения сока.

- **Желатин:** 10 г. (0.5 ч. ложки)
- **Горячая вода:** 200-250 мл (может потребоваться чуть больше или меньше в зависимости от желатина)
- **Сахар:** 100 г. (или по вкусу)
- **Вода:** 50-70 мл, если используем её для сиропа вместо воды для разведения желатина
- **Сливки, молоко или пюре:** для аромата и цвета (по желанию)

**Приготовление:**

### 1. Пастила из фруктов и подготовка сиропа.
1. Растолочь или мелко порезать ягоды/фрукты и поместить их в кастрюлю и раздавить. В случае ягод можно пропустить этот шаг вообще.
2. Получившуюся массу положить на дуршлаг, чтобы стек сок в миску. Если этого мало, можно добавить немного воды и размять дополнительно.
3. Из сока (если он густой), отцедите немного, чтобы использовать его потом в виде сиропа.

### 2. Приготовление желатинового сиропа.
1. Желатин залить горячей водой. Можно также использовать остатки фруктового сока.
   - Если желатина меньше чем 10гр, можно взять 1/8 часть воды или сока и добавить один пакетик на 10 г.
2. Оставить смесь стоять и набухать. Обычно это