vonewman commited on
Commit
967c296
·
1 Parent(s): 94a993e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +15 -31
app.py CHANGED
@@ -1,40 +1,24 @@
1
  import streamlit as st
2
  from transformers import pipeline
3
 
4
- model_checkpoint = "vonewman/wolof-finetuned-ner"
 
5
 
6
- # Définition de la pipeline
7
- pipeline = pipeline("ner", model=model_checkpoint, aggregation_strategy="simple")
 
8
 
9
- # Fonction pour traiter un document
10
- def traiter_document(document):
11
- # Tokenisation du document
12
- tokens = model.tokenizer(document)
13
 
14
- # Prédiction des entités nommées
15
- predictions = pipeline(tokens)
16
 
17
- # Renvoi des entités nommées
18
- return predictions
 
 
19
 
20
- # Fonction pour charger un document
21
- def charger_document(fichier):
22
- # Ouverture du fichier
23
- with open(fichier, "r") as f:
24
- document = f.read()
25
 
26
- return document
27
-
28
- # Affichage de l'application
29
- st.title("Named Entity Recognition")
30
-
31
- # Chargement du document
32
- document = charger_document(st.file_uploader("Choisissez un document"))
33
-
34
- # Traitement du document
35
- predictions = traiter_document(document)
36
-
37
- # Affichage des entités nommées
38
- for prediction in predictions:
39
- st.write(f"**Entité:** {prediction['entity_type']}")
40
- st.write(f"**Texte:** {prediction['token']}")
 
1
  import streamlit as st
2
  from transformers import pipeline
3
 
4
+ # Créez un widget pour télécharger le fichier
5
+ uploaded_file = st.file_uploader("Téléchargez un document (PDF, TXT, CSV, JSON)", type=["pdf", "txt", "csv", "json"])
6
 
7
+ # Chargement du modèle DistilBERT pour la reconnaissance d'entités nommées
8
+ nlp = pipeline("ner", model="distilbert-base-cased",
9
+ aggregation_strategy="simple")
10
 
11
+ if uploaded_file is not None:
12
+ # Lecture du contenu du fichier
13
+ text = uploaded_file.read()
 
14
 
15
+ # Utilisation du modèle de traitement du langage naturel pour la reconnaissance d'entités nommées
16
+ entities = nlp(text)
17
 
18
+ st.subheader("Entités nommées détectées dans le document :")
19
+
20
+ for entity in entities:
21
+ st.write(f"Texte : {entity['word']}, Étiquette : {entity['entity']}")
22
 
23
+ # Vous pouvez également afficher d'autres informations sur les entités détectées si nécessaire.
 
 
 
 
24