Update app.py

app.py

@@ -1,23 +1,23 @@
-import datasets
-from datasets import load_dataset
-import transformers 
 from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments, pipeline
+from datasets import load_dataset
+import gradio as gr
+import os
 
-model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)  # 2 classes : positif et négatif
-tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
-
-ds = load_dataset("stanfordnlp/sst2")
-
-sst2_dataset = load_dataset("glue", "sst2", split="train")
-
+# Charger le jeu de données SST-2
+dataset = load_dataset("glue", "sst2")
 
-def encode(examples):
-    return tokenizer(examples["sentence1"], examples["sentence2"], truncation=True, padding="max_length")
+# Charger le modèle BERT pré-entraîné et le tokenizer associé
+model_name = "bert-base-uncased"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)  # 2 classes : positif et négatif
 
+# Prétraitement des données
+def preprocess_function(examples):
+    return tokenizer(examples["sentence"], padding="max_length", truncation=True)
 
-sst2_dataset = sst2_dataset.map(encode, batched=True)
-sst2_dataset = sst2_dataset.map(lambda examples: {"labels": examples["label"]}, batched=True)
+encoded_dataset = dataset.map(preprocess_function, batched=True)
 
+# Configuration des arguments d'entraînement
 training_args = TrainingArguments(
     per_device_train_batch_size=8,
     evaluation_strategy="epoch",
@@ -26,15 +26,15 @@ training_args = TrainingArguments(
     num_train_epochs=3,
 )
 
-
+# Entraînement du modèle
 trainer = Trainer(
     model=model,
     args=training_args,
     train_dataset=encoded_dataset["train"],
-    eval_dataset=encoded_dataset["test"],
+    eval_dataset=encoded_dataset["validation"],
 )
 
-import os
+# Vérifiez si le modèle a déjà été entraîné et sauvegardé
 if not os.path.exists("./fine_tuned_model"):
     trainer.train()
     # Sauvegarder le modèle fine-tuné et le tokenizer
@@ -42,15 +42,16 @@ if not os.path.exists("./fine_tuned_model"):
     tokenizer.save_pretrained("./fine_tuned_model")
 else:
     # Charger le modèle fine-tuné
-    model = BertForSequenceClassification.from_pretrained("./fine_tuned_model")
-    tokenizer = BertTokenizer.from_pretrained("./fine_tuned_model")
-
+    model = AutoModelForSequenceClassification.from_pretrained("./fine_tuned_model")
+    tokenizer = AutoTokenizer.from_pretrained("./fine_tuned_model")
 
+# Créer un pipeline de classification des sentiments
 sentiment_analysis = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
 
+# Fonction pour générer une réponse à partir du message de l'utilisateur
 def generate_response(message):
     result = sentiment_analysis(message)[0]
     return f"Label: {result['label']}, Score: {result['score']}"
 
+# Configurer et lancer l'interface de chat avec Gradio
 gr.ChatInterface(fn=generate_response).launch()
-