---
model_name: BumbaLM-3B-Instruct-v0.1
base_model: Qwen/Qwen2.5-3B-Instruct
language:
  - pt
tags:
  - nlp
  - legal
  - direito
  - text-generation
  - fine-tuning
  - qwen
license: apache-2.0
datasets:
  - legal-dataset-1k
---

# ⚖️ BumbaLM-3B-Instruct-v0.1

**BumbaLM** é um modelo de linguagem grande (LLM) fine-tuned focado no domínio jurídico brasileiro. Ele foi treinado a partir do [Qwen2.5-3B-Instruct](https://huggingface.co/Qwen/Qwen2.5-3B-Instruct) utilizando técnicas de *Supervised Fine-Tuning* (SFT) e *Low-Rank Adaptation* (LoRA).

## Objetivos do Modelo

Este modelo foi desenvolvido para auxiliar em tarefas jurídicas, tais como:
* **Geração de Texto:** Redação de parágrafos argumentativos.
* **Análise:** Identificação de teses jurídicas em textos.
* **Resumo:** Sumarização de peças processuais e jurisprudência.
* **Instrução:** Capacidade de seguir instruções complexas em português jurídico.

## Métricas de Treinamento

Abaixo, a evolução da perda (loss) durante o treinamento, demonstrando a convergência do modelo:

| Step | Training Loss |
|:----:|:-------------:|
| 5 | 2.3268 |
| 10 | 1.5827 |
| 15 | 1.3338 |
| 20 | 1.1551 |
| 25 | 1.0981 |
| 30 | 1.0721 |
| 35 | 1.0672 |
| 40 | 1.0168 |
| 45 | 1.0634 |
| 50 | 1.0342 |
| 55 | 1.1836 |
| 60 | 1.0630 |
| 65 | 1.0181 |
| 70 | 1.0249 |
| 75 | 1.0579 |
| 80 | 1.0363 |
| 85 | 0.9673 |
| 90 | 1.0552 |
| 95 | 0.9377 |


## Como usar

Você pode utilizar este modelo diretamente com a biblioteca `transformers`:

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_id = "fabricioalmeida/BumbaLM-3B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16
)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

prompt = "<|user|>\nExplique o conceito de Dano Moral no direito brasileiro.\n<|assistant|>\n"

outputs = pipe(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    top_p=0.95
)

print(outputs[0]["generated_text"])
```


## Detalhes do Treinamento

Modelo Base: Qwen/Qwen2.5-3B-Instruct

Método: QLoRA (4-bit quantization)

Dataset: Dados jurídicos proprietários e sintéticos (Teacher-Student distillation).

Framework: Treinado usando trl, peft e transformers.

## Limitações e Viés

Como todo LLM, o BumbaLM pode alucinar informações ou reproduzir vieses presentes nos dados de treinamento. As respostas geradas não substituem a consulta a um advogado ou profissional do direito. Use com cautela e sempre verifique as referências legais.

***
Desenvolvido por Equipe UEMA/TJMA