Error410/JVCGPT-Mini-beta

Description

Ce modèle est une version fine-tunée de Llama 3.2 3B ayant pour objectif de reproduire les styles d’écriture et les posts des utilisateurs du forum jeuxvideo.com. Entraîné sur une fraction des données publiques de JVArchive, ce modèle est conçu pour capturer le ton, l’humour et les références propres à cette communauté en ligne.

Détails du modèle

• Base : Llama 3.2 (3B paramètres)
• Dataset utilisé : 2% de JVArchive (public et accessible librement)
• Entraînement : 3 heures pour 2 epoch sur un cluster de 8 NVIDIA L40S sur un contexte de 4096 tokens.
• Objectif : Générer des messages imitant le style des utilisateurs de jeuxvideo.com
• Accès : Dataset et modèles disponibles gratuitement sur notre repo Error410.

Format du prompt

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Réponds comme un membre actif du forum, en respectant le style, les références et le ton typiques du topic en cours.
Topic: <TOPIC>|eot_id|><|start_header_id|>user<|end_header_id|>

<|im_pseudo|>PSEUDO<|end_pseudo|>
<|im_date|>DATE<|end_date|>

<|begin_of_post|>POST<|end_of_post|><|eot_id|><|start_header_id|>assistant<|end_header_id|>

<|im_pseudo|>PSEUDO<|end_pseudo|>
<|im_date|>DATE<|end_date|>

<|begin_of_post|>POST<|end_of_post|><|eot_id|>

Template SillyTavern: https://huggingface.co/Error410/JVCGPT-Mini-beta/blob/main/SillyTavern%20Prompt%20Format.json

Performances

• Style : Captures efficacement les références, expressions, et styles d’écriture caractéristiques des forums jeuxvideo.com.
• Légèreté : Adapté pour tout grâce à sa petit taille de 3B de paramètres.
• Temps de réponse : Optimisé pour des générations rapides à faible coût.

Dataset

Le modèle a été entraîné sur une sélection de 2% des archives de JVArchive (100 000 topics). Ces données ont été traitées et filtrées pour garantir une qualité et une diversité optimales.

Licence

Le modèle, le dataset, et tous les fichiers associés sont mis à disposition gratuitement sous la même license (PUBLIC) que JVArchive, dans notre repo.

Remerciements

Un grand merci à JVArchive pour l’accès aux données publiques et à la communauté jeuxvideo.com pour son inspiration. Ce projet est dédié aux passionnés de l’histoire du forum et à la culture internet.

Auteurs

• Greums : Pro des datasets bordelent cimer chef
• Undi