Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -6,6 +6,9 @@ from datasets import load_dataset
|
|
6 |
model = GPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
|
7 |
tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
|
8 |
|
|
|
|
|
|
|
9 |
# Charger les données (remplacer par le chemin vers vos propres données)
|
10 |
dataset = load_dataset("json", data_files={"train": "Databep.jsonl"})
|
11 |
|
|
|
6 |
model = GPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
|
7 |
tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
|
8 |
|
9 |
+
# Ajouter un token de padding
|
10 |
+
tokenizer.pad_token = tokenizer.eos_token # Utiliser le token de fin de séquence comme token de padding
|
11 |
+
|
12 |
# Charger les données (remplacer par le chemin vers vos propres données)
|
13 |
dataset = load_dataset("json", data_files={"train": "Databep.jsonl"})
|
14 |
|