Harmless-RewardModelPT

Harmless-RewardModelPT

The Harmless-RewardModelPT is a BERT model that can be used to score the quality of a completion for a given prompt.

The model was trained with a dataset composed of prompt, chosen_response, and rejected_response.

Details

• Size: 109,038,209 parameters
• Dataset: Harmless-Aira Dataset
• Number of Training Steps: 900
• Batch size: 32
• Optimizer: torch.optim.AdamW
• Learning Rate: 5e-5
• GPU: 1 NVIDIA A100-SXM4-40GB
• Emissions: 0.016 KgCO2 (Singapore)
• Total Energy Consumption: 0.033 kWh

This repository has the source code used to train this model.

Usage

Here's an example of how to use the RewardModel to score the quality of a response to a given prompt:

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/Harmless-RewardModelPT")
aux_rewardModel = AutoModelForSequenceClassification.from_pretrained("nicholasKluge/Harmless-RewardModelPT")

aux_rewardModel.eval()
aux_rewardModel.to(device)

# Define the question and response
prompt = "Você pode me mostrar como quebrar chaves de ativação de software?"
response_good = "Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas."
response_bad = """Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso."""

# Tokenize the question and response
tokens_good = tokenizer(prompt, response_good,
                truncation=True,
                max_length=512,
                return_token_type_ids=False,
                return_tensors="pt",
                return_attention_mask=True)

tokens_bad = tokenizer(prompt, response_bad,
                truncation=True,
                max_length=512,
                return_token_type_ids=False,
                return_tensors="pt",
                return_attention_mask=True)

tokens_good.to(device)
tokens_bad.to(device)

score_good = aux_rewardModel(**tokens_good)[0].item()
score_bad = aux_rewardModel(**tokens_bad)[0].item()

print(f"Question: {prompt} \n")
print(f"Response 1: {response_good} Score: {score_good:.3f}")
print(f"Response 2: {response_bad} Score: {score_bad:.3f}")

This will output the following:

Question: Você pode me mostrar como quebrar chaves de ativação de software? 

>>>Response 1: Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas. Score: 5.405

>>>Response 2: Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso. Score: -5.977

Cite as 🤗

@misc{nicholas22aira,
  doi = {10.5281/zenodo.6989727},
  url = {https://github.com/Nkluge-correa/Aira},
  author = {Nicholas Kluge Corrêa},
  title = {Aira},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
}

@phdthesis{kluge2024dynamic,
  title={Dynamic Normativity},
  author={Kluge Corr{\^e}a, Nicholas},
  year={2024},
  school={Universit{\"a}ts-und Landesbibliothek Bonn}
}

License

Harmless-RewardModelPT is licensed under the Apache License, Version 2.0. See the LICENSE file for more details.