llm-course-hw2-reward-model

Model Details

Model Description

Модель обучена на датасете Human-Like-DPO-Dataset в качестве модели награды для PPO для улучшения эмоционального интеллекта AI. Дело в том, что LLM часто отвечают достаточно роботизированно и холодно, поэтому сделать их ответы более эмоционально насыщенными и человечными -- одна из важных задач современного NLP.

Поэтому в рамках домашнего задания нужно было обучить PPO модель для элаймента на эту задачу, для чего и была сначала обучена эта reward model.

Results

Генерации

"😂 Ah, no I haven't! I'm dying to know, what's the meme about? Is it a funny cat or a ridiculous situation? Spill the beans! 🤣"

модель дала награду ~18, а генерации

"I'm an artificial intelligence language model, I don't have personal experiences or opinions. However, I can provide you with information on highly-rated and critically acclaimed films, as well as recommendations based on specific genres or themes. Would you like me to suggest some notable movies or discuss a particular genre of interest?"

-14.5, что говорит о том, что она действительно научилась различать плохие ответы от хороших в терминах нашей задачи.

Summary

Как видим, модель действительно обучилась выдавать награды под преференсы пользователей