File size: 1,255 Bytes
2855de2 d7a4a97 ec7c1e3 d7a4a97 280c54b d7a4a97 280c54b d7a4a97 280c54b d7a4a97 280c54b d7a4a97 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
---
license: apache-2.0
language:
- pt
- en
tags:
- code
- kj
---
# Model Card for Model ID
<!-- Provide a quick summary of what the model is/does. -->
This modelcard aims to be a base template for new models. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md?plain=1).
## Model Details
### Model Description
-- Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1,
-- implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação
-- do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.
- **Developed by:** Amanda Freire
- **Funded by [optional]:** Amanda Freire
- **Shared by [optional]:** Amanda Freire
- **Model type:** LLaMa-1
- **Language(s) (NLP):** [More Information Needed]
- **License:** Apache
## Uses
-- modelo GPT-2 na coleção TinyShakespeare.
-- Implementação dos componentes principais da arquitetura LLaMA 1 [4]:
-- RMSNorm
-- SwiGLU
-- Rotary Embeddings
|