PierreH commited on
Commit
7e25404
·
verified ·
1 Parent(s): c47baaf

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -0
app.py CHANGED
@@ -6,6 +6,9 @@ from datasets import load_dataset
6
  model = GPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
7
  tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
8
 
 
 
 
9
  # Charger les données (remplacer par le chemin vers vos propres données)
10
  dataset = load_dataset("json", data_files={"train": "Databep.jsonl"})
11
 
 
6
  model = GPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
7
  tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
8
 
9
+ # Ajouter un token de padding
10
+ tokenizer.pad_token = tokenizer.eos_token # Utiliser le token de fin de séquence comme token de padding
11
+
12
  # Charger les données (remplacer par le chemin vers vos propres données)
13
  dataset = load_dataset("json", data_files={"train": "Databep.jsonl"})
14