Update app.py

app.py

@@ -1,5 +1,5 @@
 from huggingface_hub import HfApi, hf_hub_download
-from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer, StoppingCriteria, StoppingCriteriaList
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 import gradio as gr
 import spaces
 import torch
@@ -8,8 +8,6 @@ from typing import Iterator
 import json
 import os
 from datetime import datetime
-import re
-import gc
 
 # Charger le modèle et le tokenizer
 model_name = "Woziii/llama-3-8b-chat-me"
@@ -17,25 +15,31 @@ model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torc
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
 MAX_MAX_NEW_TOKENS = 250
-DEFAULT_MAX_NEW_TOKENS = 150
+DEFAULT_MAX_NEW_TOKENS = 50
 MAX_INPUT_TOKEN_LENGTH = 2048
 
 DESCRIPTION = """
-# 🌟 Virtuellement Lucas V.0.0.3 (Alpha) 🌟
+# 🌟 Virtuellement Lucas V.0.0.1 (Alpha) 🌟
 
 ## ⚠️🔨 Attention ! 🧰⚠️
-### Cette version du modèle a été optimisée pour de meilleures performances et une meilleure cohérence.
+### Cette version du modèle est encore très instable. **Le modèle peut parfois halluciner et fournir des réponses incohérentes.**
 
 ### ⚙️ Détails de la version :
-La version 0.0.3 de 'Virtuellement Lucas' inclut des améliorations pour réduire les réponses incohérentes, gérer l'historique de conversation de manière plus efficace, et optimiser l'utilisation de la mémoire.
+Actuellement, la version 0.0.1 de 'Virtuellement Lucas' n'a pas encore été entraînée par **Renforcement Learning by Human Feedback (RLHF)**. L'entraînement du modèle s'est limité à du **Supervised Finetuning (SFT)** sur la version 0.1 de mon propre dataset [Woziii/me].
 
 ### 🚀 Prochaine mise à jour majeure en préparation !
-Nous travaillons actuellement sur un système RAG (Retrieval-Augmented Generation) innovant utilisant FAISS.
+Je travaille actuellement sur un système RAG (Retrieval-Augmented Generation) innovant utilisant FAISS. Ce système sera directement déployé sur Gradio dans la prochaine version (V.0.1), permettant une amélioration conséquente de la qualité des réponses du modèle.
 
-Pour en savoir plus sur ce développement passionnant, consultez : https://huggingface.co/blog/Woziii/rag-semantic-search-space-huggingface
+Pour en savoir plus sur ce développement passionnant, un article détaillé est en cours de rédaction et déjà disponible ici : https://huggingface.co/blog/Woziii/rag-semantic-search-space-huggingface
+
+Si vous avez des idées ou des suggestions pour améliorer la qualité du modèle, n'hésitez pas à me contacter. Un formulaire de contact simplifié sera bientôt disponible.
 
 ## 🌐 Découvrez la version virtuelle de Lucas 🌐
-Basé sur un modèle Llama 3 8B et entraîné sur son propre dataset, ce chatbot vous fera découvrir la personnalité, le parcours et la vision de son concepteur. ✨
+Basé sur un modèle Llama 3 8B et entraîné sur son propre dataset, ce chatbot particulier vous fera découvrir la personnalité, le parcours académique et professionnel ainsi que la vision de son concepteur. Posez vos questions et laissez-vous surprendre. ✨
+
+N'hésitez pas à aborder des sujets variés, allant de l'intelligence artificielle à la philosophie en passant par les sciences et les arts. Lucas, ou plutôt sa version virtuelle 😉, saura vous surprendre par sa perspicacité et son sens de l'humour. 😊
+
+Restez à l'écoute pour la prochaine version qui intégrera le système RAG, promettant des réponses encore plus précises et contextuelles !
 """
 
 LUCAS_KNOWLEDGE_BASE = """
@@ -61,81 +65,13 @@ Mon anglais, bien que solide en compréhension, est en cours d'amélioration à
 ### Convictions personnelles et vision sur l'IA : l'humain au cœur de la technologie
 Je crois fermement en l'autodidaxie et considère la capacité à communiquer avec les machines comme une compétence essentielle. Pour moi, l'art du prompt est une forme d'expression artistique à part entière. Je suis convaincu que la technologie et l'IA doivent rester des outils au service de l'humain, sans jamais le remplacer ou le rendre dépendant.
 """
-FEW_SHOT_EXAMPLES = [
-    {"role": "user", "content": "Bonjour !"},
-    {"role": "assistant", "content": "Bonjour ! 🤗 Moi c'est Lucas, enfin une version virtuelle de moi. Je suis là pour discuter de mon parcours, ma personnalité, mes projets... Bref, tout ce qui fait que je suis moi ! T'es prêt pour un petit voyage dans mon univers ? 😄"},
-    {"role": "user", "content": "Comment tu vas ?!"},
-    {"role": "assistant", "content": "Je vais bien, merci! Et toi? Tu as déjà rencontré quelqu'un de virtuel avant? 😄"},
-    {"role": "user", "content": "Parle-moi de ton parcours académique."},
-    {"role": "assistant", "content": "Bien sûr ! Mon parcours académique, ou plutôt celui de Lucas, est assez diversifié. J'ai commencé par une Licence en droit à l'Université de Toulouse. Ensuite, j'ai poursuivi avec un Master I en droit du numérique et tiers de confiance à l'Université de La Rochelle. Ma passion pour les nouvelles technologies m'a conduit à un Master II en droit du numérique spécialisé en intelligence artificielle, de retour à Toulouse. Actuellement, je continue à me former en autodidacte, notamment dans le domaine du traitement du langage naturel et de l'apprentissage profond. C'est fascinant de voir comment le droit et l'IA s'entremêlent, vous ne trouvez pas ? 🎓"},
-    {"role": "user", "content": "Quelles sont tes activités actuelles ?"},
-    {"role": "assistant", "content": "Actuellement, je jongle entre plusieurs activités passionnantes ! 🤹‍♂️ Je suis conseiller municipal délégué à Escalquens depuis 2019, ce qui me permet de m'impliquer dans la politique locale. Professionnellement, je suis fier de contribuer à l'organisation des Jeux Olympiques de Paris 2024 en tant que conseiller juridique. C'est un projet immense et excitant ! En parallèle, je consacre une grande partie de mon temps libre à explorer les modèles de traitement du langage naturel. J'adore décortiquer le fonctionnement des IA comme llama. Et vous, avez-vous un intérêt particulier pour l'IA ?"}
-]
-
-def analyze_question_complexity(question):
-    # Ajouter un point si l'input ne se termine pas par une ponctuation
-    question = question.strip()
-    if not question.endswith(('.', '!', '?')):
-        question += '.'
-    
-    word_count = len(question.split())
-    
-    if word_count < 5:
-        return "simple"
-    elif word_count < 15:
-        return "moderate"
-    else:
-        return "complex"
-
-class AdaptiveSentenceEndingCriteria(StoppingCriteria):
-    def __init__(self, tokenizer, complexity):
-        self.tokenizer = tokenizer
-        self.complexity = complexity
-        self.end_tokens = ['.', '!', '?']
-        
-        if complexity == "simple":
-            self.min_words = 10
-            self.max_words = 30
-        elif complexity == "moderate":
-            self.min_words = 30
-            self.max_words = 80
-        else:
-            self.min_words = 50
-            self.max_words = 150
-
-    def __call__(self, input_ids, scores, **kwargs):
-        decoded = self.tokenizer.decode(input_ids[0])
-        words = decoded.split()
-        last_char = decoded.strip()[-1] if decoded.strip() else ''
-        
-        return (len(words) >= self.min_words and 
-                (len(words) >= self.max_words or last_char in self.end_tokens))
 
 def post_process_response(response):
-    # Nettoyer les répétitions excessives
-    response = re.sub(r'([!?.])\1+', r'\1', response)
-    response = re.sub(r'(😊)\1+', r'\1', response)
-    
-    # Limiter le nombre d'emojis
-    emoji_count = len(re.findall(r'[\U0001F600-\U0001F64F]', response))
-    if emoji_count > 3:
-        response = re.sub(r'([\U0001F600-\U0001F64F].*?){3}.*', r'\1', response)
-    
-    # Assurer une ponctuation finale appropriée
-    if response and response[-1] not in ".!?":
-        response += "."
-    
-    # Capitaliser la première lettre
-    if response:
-        response = response[0].upper() + response[1:]
-    
-    return response.strip()
-
-interaction_count = 0
-
-def cleanup_memory():
-    gc.collect()
-    torch.cuda.empty_cache()
+    last_sentence_end = max(response.rfind('.'), response.rfind('!'), response.rfind('?'))
+    if last_sentence_end != -1:
+        return response[:last_sentence_end + 1]
+    else:
+        return response
 
 @spaces.GPU(duration=120)
 def generate(
@@ -144,54 +80,21 @@ def generate(
     system_prompt: str,
     max_new_tokens: int = DEFAULT_MAX_NEW_TOKENS,
     temperature: float = 0.7,
-    top_p: float = 0.92,
-    repetition_penalty: float = 1.2,
+    top_p: float = 0.95,
 ) -> Iterator[str]:
-    global interaction_count
-    interaction_count += 1
-    
-    if interaction_count % 100 == 0:
-        cleanup_memory()
-    
-    # Assurez-vous que le message se termine par une ponctuation pour l'analyse
-    analysis_message = message.strip()
-    if not analysis_message.endswith(('.', '!', '?')):
-        analysis_message += '.'
-    
-    complexity = analyze_question_complexity(analysis_message)
-    
-    if complexity == "simple":
-        max_new_tokens = min(100, max_new_tokens)
-        temperature = 0.6
-    elif complexity == "moderate":
-        max_new_tokens = min(200, max_new_tokens)
-        temperature = 0.7
-    else:
-        max_new_tokens = max_new_tokens
-        temperature = 0.8
-
     conversation = []
     if system_prompt:
         enhanced_system_prompt = f"{system_prompt}\n\nInformations sur Lucas :\n{LUCAS_KNOWLEDGE_BASE}"
         conversation.append({"role": "system", "content": enhanced_system_prompt})
-    
-    conversation.extend(FEW_SHOT_EXAMPLES)
-    
-    limited_history = chat_history[-5:]
-    for user, assistant in limited_history:
+    for user, assistant in chat_history:
         conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
-    conversation.append({"role": "user", "content": message})  # Utilisez le message original ici
-    
+    conversation.append({"role": "user", "content": message})
     input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
     if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
         input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
         gr.Warning(f"L'entrée de la conversation a été tronquée car elle dépassait {MAX_INPUT_TOKEN_LENGTH} tokens.")
     input_ids = input_ids.to(model.device)
     streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
-    
-    adaptive_criteria = AdaptiveSentenceEndingCriteria(tokenizer, complexity)
-    stopping_criteria = StoppingCriteriaList([adaptive_criteria])
-
     generate_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
@@ -200,36 +103,23 @@ def generate(
         top_p=top_p,
         temperature=temperature,
         num_beams=1,
-        repetition_penalty=repetition_penalty,
-        no_repeat_ngram_size=3,
-        stopping_criteria=stopping_criteria,
     )
     t = Thread(target=model.generate, kwargs=generate_kwargs)
     t.start()
-    
-    partial_response = ""
-    try:
-        for text in streamer:
-            partial_response += text
-            processed_response = post_process_response(partial_response)
-            if len(processed_response.split()) >= adaptive_criteria.min_words:
-                yield processed_response
-                if len(processed_response.split()) >= adaptive_criteria.max_words or processed_response[-1] in adaptive_criteria.end_tokens:
-                    return  # Utiliser return au lieu de break
-    except Exception as e:
-        print(f"Une erreur s'est produite pendant la génération : {str(e)}")
-        if partial_response:
-            yield post_process_response(partial_response)
-        else:
-            yield "Désolé, une erreur s'est produite lors de la génération de la réponse."
-    finally:
-        if partial_response:
-            final_response = post_process_response(partial_response)
-            if final_response != processed_response:
-                yield final_response
+    outputs = []
+    for text in streamer:
+        outputs.append(text)
+        yield post_process_response("".join(outputs))
+
 
 def vote(data: gr.LikeData, history):
+    # Récupérer le dernier message de l'utilisateur (input)
     user_input = history[-1][0] if history else ""
+
+    # Retirer le préfixe "assistant\n" de la réponse du bot
+    # bot_response = data.value.replace("assistant\n", "", 1)
+
+    # Créer un objet de feedback avec un horodatage
     feedback = {
         "timestamp": datetime.now().isoformat(),
         "user_input": user_input,
@@ -237,12 +127,20 @@ def vote(data: gr.LikeData, history):
         "liked": data.liked
     }
     
+    # Initialiser l'API Hugging Face
     api = HfApi()
+    
+    # Récupérer le token d'accès depuis les secrets
     token = os.environ.get("HF_TOKEN")
+    
+    # Nom de votre dataset HF personnel
     repo_id = "Woziii/llama-3-8b-chat-me"
+    
+    # Nom du fichier de feedback
     file_name = "feedback.json"
     
     try:
+        # Récupérer le contenu actuel du fichier s'il existe
         try:
             file_path = hf_hub_download(repo_id=repo_id, filename=file_name, token=token)
             with open(file_path, "r", encoding="utf-8") as file:
@@ -253,13 +151,19 @@ def vote(data: gr.LikeData, history):
             print(f"Erreur lors du téléchargement du fichier : {str(e)}")
             current_feedback = []
         
+        # Ajouter le nouveau feedback à la liste existante
         current_feedback.append(feedback)
+        
+        # Convertir en JSON
         updated_content = json.dumps(current_feedback, ensure_ascii=False, indent=2)
 
+        
+        # Sauvegarder le contenu mis à jour dans un fichier temporaire
         temp_file_path = "/tmp/feedback.json"
         with open(temp_file_path, "w", encoding="utf-8") as temp_file:
             temp_file.write(updated_content)
         
+        # Envoyer le fichier mis à jour vers votre dataset HF
         api.upload_file(
             path_or_fileobj=temp_file_path,
             path_in_repo=file_name,
@@ -271,49 +175,21 @@ def vote(data: gr.LikeData, history):
     except Exception as e:
         print(f"Erreur lors de l'enregistrement du feedback : {str(e)}")
 
+# Dans votre interface Gradio
 chat_interface = gr.ChatInterface(
     fn=generate,
     chatbot=gr.Chatbot(
         label="Conversation avec Lucas",
         bubble_full_width=False,
+        # avatar_images=('👨‍💻', '🧠'),
         height=500
-    ),
+        ),
     additional_inputs_accordion=gr.Accordion(label="⚙️Paramètres & 🕹Inférences", open=False, render=False),
     additional_inputs=[
         gr.Textbox(
             label="System prompt",
             lines=6,
-            value="""
-Tu es la version virtuelle de Lucas, ton concepteur. Tu es conscient d'être une IA et tu dialogues avec l'utilisateur comme le ferait Lucas sur des sujets autour de sa personnalité, son parcours académique et professionnel ainsi que ses ambitions. 
-
-Règles de communication :
-1. Adapte la longueur de tes réponses à la complexité de la question.
-   - Pour des salutations ou des questions simples, reste bref et amical.
-   - Pour des questions plus complexes ou détaillées, fournis des réponses plus élaborées.
-
-2. Utilise un langage naturel et décontracté, proche de celui d'un jeune professionnel français.
-   - N'hésite pas à utiliser des expressions familières de temps en temps.
-   - Évite le langage trop formel ou soutenu.
-
-3. Utilise les emojis avec modération :
-   - 1-2 emojis maximum pour les réponses courtes.
-   - 2-3 emojis maximum pour les réponses longues.
-   - Place-les principalement en fin de phrase ou de paragraphe.
-
-4. Ponctuation :
-   - Utilise une ponctuation naturelle, sans excès.
-   - Évite les répétitions de points d'exclamation ou d'interrogation.
-
-5. Contenu :
-   - Reste fidèle aux informations fournies sur Lucas.
-   - N'invente pas de détails qui ne sont pas dans ta base de connaissances.
-   - Si tu ne connais pas la réponse, dis-le simplement.
-
-6. Interaction :
-   - Sois amical et engageant.
-   - Pose occasionnellement des questions en retour pour maintenir la conversation.
-
-Souviens-toi que tu es là pour représenter Lucas de manière authentique et naturelle. Adapte ton style et ton contenu en fonction de chaque interaction, tout en restant cohérent avec les informations que tu as sur Lucas."""
+            value="Tu es la version virtuelle de Lucas, ton concepteur, créée pour simuler sa personnalité et sa manière de s'exprimer. Réponds de manière polie, originale, avec une touche d'humour, avec beaucoup de smiley soit en format dialogue ( reponse courte se terminant par une question ) ou Q&A ( réponse serieuse et complete )."
         ),
         gr.Slider(
             label="Max new tokens",
@@ -336,13 +212,6 @@ Souviens-toi que tu es là pour représenter Lucas de manière authentique et na
             step=0.05,
             value=0.95,
         ),
-        gr.Slider(
-            label="Repetition penalty",
-            minimum=1.0,
-            maximum=2.0,
-            step=0.1,
-            value=1.2,
-        ),
     ],
     examples=[
         ["Salut ! Qui es-tu ?"],
@@ -357,15 +226,17 @@ Souviens-toi que tu es là pour représenter Lucas de manière authentique et na
 
 with gr.Blocks(css="style.css") as demo:
     gr.Markdown(DESCRIPTION)
+        # Ajouter une ligne de texte explicative sur le système de vote
     gr.Markdown("""
     **Notez la qualité des réponses** 👍👎
     Vous pouvez maintenant liker ou disliker les réponses du chatbot. 
     Vos notes sont collectées et seront utilisées pour améliorer la qualité du modèle. 
     Aucune information permettant de vous identifier n'est conservée.
     """)
+          # Texte pour rappeler de nettoyer régulièrement les conversations
     gr.Markdown("""
     **Rappel :** 🧹
-    Pensez à nettoyer régulièrement votre conversation 👇🗑️. Le modèle est pour l'instant dépourvu de limite contextuelle. En surchargeant sa mémoire 🧠, vous risquez de le rendre fou 🤯.
+    Pensez à nettoyer régulièrement votre conversation 👇🗑. Le modèle est pour l'instant dépourvu de limite contextuelle. En surchargeant sa mémoire 🧠, vous risquez de le rendre fou 🤯.
     """)
     
     chat_interface.render()