llama_13b_ru_turbo_alpaca_improved

Based on LLaMA 13B.

Improved on llama_13b_ru_turbo_alpaca_lora.

Improved parameters:

{
  "base_model_name_or_path": "./llama-13b-hf",
  "bias": "none",
  "enable_lora": null,
  "fan_in_fan_out": false,
  "inference_mode": true,
  "lora_alpha": 16,
  "lora_dropout": 0.05,
  "merge_weights": false,
  "modules_to_save": null,
  "peft_type": "LORA",
  "r": 16,
  "target_modules": [
    "q_proj",
    "v_proj"
  ],
  "task_type": "CAUSAL_LM"
}

Cutoff length set to 512

Example:

### Задание: Сочини длинный и интригующий рассказ, обязательно упоминая следующие объекты.
### Вход: Таня. мяч
### Ответ: 
Таня была обычной девочкой, которая любила играть в футбол с друзьями. Она всегда была настолько энергична и решительна, что никогда не оставалась без победы. Но однажды, когда она играла со своими друзьями, она случайно потеряла свой мяч. Это было так страшно для нее, что она начала рыдать.
Однако, когда Таня вернулась домой, ее мама подхватила и пригласила Таню на прогулку. Мама увидела, как Таня переживает из-за потери своего мяча, и решила помочь ей.
Они отправились на поиски мяча, но ничего не нашли. Таня чувствовала себя очень грустной и думала, что её мяч навсегда утерян. Но тут, когда они уже готовы были вернуться домой, Таня заметила, что там был такой же мяч.
Мама была поражена, и они оба поняли, что это был знак - это был тот самый мяч, который она искала весь день. Он был просто забыт где-то на улице, и его подобрала случайно маленькая девочка.
Таня была счастлива, что нашла свой мяч, и теперь она знала, что даже если что-то пропадает, оно может быть найдено, если только ты ищешь достаточно долго.


### Задание:
Приведен диалог между умным чатботом и человеком. Ответьте как помощник
### Вход: 
Человек: Здравствуйте
Чатбот: Привет! Как я могу помочь?
Человек: Какое население Европы?
Чатбот:  743 миллиона человек живут в Европе, из них более половины проживают на территории России и Украины.
Человек: А в Африке?
### Ответ: 
Чатбот:  1,26 миллиардов людей живут в Африке, что составляет примерно треть населения мира.

Prompt template:

{
    "description": "A shorter template to experiment with.",
    "prompt_input": "### Задание:\n{instruction}\n\n### Вход:\n{input}\n\n### Ответ:\n",
    "prompt_no_input": "### Задание:\n{instruction}\n\n### Ответ:\n",
    "response_split": "### Ответ:"    
}

WandB report

Epochs: 3

Loss: 0.9531