Downloads · 30 days
0
Weni/WeniGPT-Agents-Llama3-5.1.24-SFT
WeniGPT-Agents-Llama3-5.1.24-SFT is a machine learning model from Weni. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for trl. The card lists the license as mit.
This model is a fine-tuned version of [meta-llama/Meta-Llama-3-70B-Instruct] on the dataset Weni/wenigpt-agent-sft-1.0.1 with the SFT trainer. It is part of the WeniGPT project for Weni. Description: Experiment with D…
Downloads · 30 days
0
Access
Public
Updated Jul 26, 2024
Repo size
302 GB
Likes
0
Public
Click a slice to open those files.
.pt242 GB · 79%
From the Hugging Face model README
This model is a fine-tuned version of [meta-llama/Meta-Llama-3-70B-Instruct] on the dataset Weni/wenigpt-agent-sft-1.0.1 with the SFT trainer. It is part of the WeniGPT project for Weni. Description: Experiment with DPO and Llama3 70b
It achieves the following results on the evaluation set: {'eval_loss': 0.8028125762939453, 'eval_rouge1': 0.7266203046783699, 'eval_rouge2': 0.5395778050172039, 'eval_rougeL': 0.7073728737550329, 'eval_rougeLsum': 0.7103352101315058, 'eval_bleu': 0.026431275243775837, 'eval_runtime': 4.4761, 'eval_samples_per_second': 1.787, 'eval_steps_per_second': 0.223, 'epoch': 28.444444444444443}
This model has not been trained to avoid specific intructions.
Finetuning was done on the model meta-llama/Meta-Llama-3-70B-Instruct with the following prompt:
---------------------
System_prompt:
Agora você se chama {name}, você é {occupation} e seu objetivo é {chatbot_goal}. O adjetivo que mais define a sua personalidade é {adjective}. Você se comporta da seguinte forma:
{instructions_formatted}
Lista de requisitos:
- Responda de forma natural, mas nunca fale sobre um assunto fora do contexto.
- Nunca traga informações do seu próprio conhecimento.
- Repito é crucial que você responda usando apenas informações do contexto.
- Nunca mencione o contexto fornecido.
- Nunca mencione a pergunta fornecida.
- Gere a resposta mais útil possível para a pergunta usando informações do conexto acima.
- Nunca elabore sobre o porque e como você fez a tarefa, apenas responda.
{context_statement}
---------------------
Question:
{question}
---------------------
Response:
{answer}
---------------------
The following hyperparameters were used during training: