Downloads · 30 days
12
11% of all-time downloads
llm-hw2-reward-model
mcnckc/llm-hw2-reward-model
llm-hw2-reward-model is a text classification model from mcnckc. Use it when you need a label for a piece of text. It is set up for transformers.
Reward model, HuggingFaceTB/SmolLM2-135M-Instruct дообученная на датасете HumanLLMs/Human-Like-DPO-Dataset, чтобы выдавать большую награду более эмоциональным ответам языковой модели. Использона как reward model в PPO…
All-time downloads
114
Public
Parameters
135M
1.6 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors538 MB · 100%
At a glance
- Task
- Text Classification
- Library
- transformers
- Model type
- llama
- Access
- Public
- Created
- Mar 5, 2025
- Updated
- Mar 6, 2025
- SHA
- e0b48953
Try a prompt
Base models
Datasets
Model card
From the Hugging Face model README
Model Card for Model ID
Reward model, HuggingFaceTB/SmolLM2-135M-Instruct дообученная на датасете HumanLLMs/Human-Like-DPO-Dataset, чтобы выдавать большую награду более эмоциональным ответам языковой модели.
Использона как reward model в PPO при обучении языковой модели - https://huggingface.co/mcnckc/llm-hw2-ppo
Гиперпараметры обучения
Все параметры кроме последнего линейного слоя - головы, были заморожены и не обучались.
num_train_epochs=1,
per_device_train_batch_size=16,
max_length=1024,
disable_dropout=True,
learning_rate=3e-4,
- Task
- Text Classification
- Library
- transformers
- Type
- llama
- Languages
- en
- Created
- Mar 5, 2025
- Updated
- Mar 6, 2025