Downloads · 30 days
0
sfreirman/LLaMa_1_large
LLaMa_1_large is a machine learning model from sfreirman. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
This modelcard aims to be a base template for new models. It has been generated using this raw template.
Downloads · 30 days
0
Access
Public
Updated Jul 9, 2024
Repo size
135 MB
Likes
0
Public
Click a slice to open those files.
.pt135 MB · 98%
From the Hugging Face model README
This modelcard aims to be a base template for new models. It has been generated using this raw template.
-- Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, -- implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação -- do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.
-- modelo GPT-2 na coleção TinyShakespeare. -- Implementação dos componentes principais da arquitetura LLaMA 1 [4]: -- RMSNorm -- SwiGLU -- Rotary Embeddings