gembode-2b-it-ultraalpaca-qlora

gembode-2b-it-ultraalpaca-qlora

<!--- PROJECT LOGO --> <p align="center"> <img src="https://huggingface.co/recogna-nlp/GemBode-2b-it/resolve/main/gembode.jpg" alt="Phi-Bode Logo" width="400" style="margin-left:'auto' margin-right:'auto' display:'block'"/> </p>

GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base de instruções Gemma-2b-it fornecido pela Google. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.

Características Principais

• Modelo Base: Gemma-2b-it, criado pela Google, com 2 bilhões de parâmetros.
• Dataset para Fine-tuning: UltraAlpaca
• Treinamento: O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-2b-it.