readme updated
Browse files
README.md
CHANGED
@@ -5,4 +5,38 @@ tags:
|
|
5 |
- summarization
|
6 |
---
|
7 |
|
8 |
-
# text2tags-it
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
- summarization
|
6 |
---
|
7 |
|
8 |
+
# text2tags-it
|
9 |
+
|
10 |
+
The model has been trained on a collection of 11k articles with tags. Its purpose is to create tags suitable for the given article.
|
11 |
+
|
12 |
+
Sample code with a IlPost article:
|
13 |
+
|
14 |
+
```python
|
15 |
+
from transformers import T5ForConditionalGeneration,T5Tokenizer
|
16 |
+
|
17 |
+
model = T5ForConditionalGeneration.from_pretrained("efederici/text2tags-it")
|
18 |
+
tokenizer = T5Tokenizer.from_pretrained("efederici/text2tags-it")
|
19 |
+
|
20 |
+
article = '''
|
21 |
+
Nel 1924 la scrittrice Virginia Woolf affrontò nel saggio Mr Bennett e Mrs Brown il tema della costruzione e della struttura del romanzo, genere all’epoca considerato in declino a causa dell’incapacità degli autori e delle autrici di creare personaggi realistici. Woolf raccontò di aver a lungo osservato, durante un viaggio in treno da Richmond a Waterloo, una signora di oltre 60 anni seduta davanti a lei, chiamata signora Brown. Ne rimase affascinata, per la capacità di quella figura di evocare storie possibili e fare da spunto per un romanzo: «tutti i romanzi cominciano con una vecchia signora seduta in un angolo».
|
22 |
+
Immagini come quella della signora Brown, secondo Woolf, «costringono qualcuno a cominciare, quasi automaticamente, a scrivere un romanzo». Nel saggio Woolf provò ad analizzare le tecniche narrative utilizzate da tre noti scrittori inglesi dell’epoca – H. G. Wells, John Galsworthy e Arnold Bennett – per comprendere perché le convenzioni stilistiche dell’Ottocento risultassero ormai inadatte alla descrizione dei «caratteri» umani degli anni Venti.
|
23 |
+
In un lungo e commentato articolo del New Yorker, la critica letteraria e giornalista Parul Sehgal, a lungo caporedattrice dell’inserto culturale del New York Times dedicato alle recensioni di libri, ha provato a compiere un esercizio simile a quello di Woolf, chiedendosi come gli autori e le autrici di oggi tratterebbero la signora Brown. E ha immaginato che probabilmente quella figura non eserciterebbe su di loro una curiosità e un fascino legati alla sua incompletezza e al suo aspetto misterioso, ma con ogni probabilità trasmetterebbe loro l’indistinta e generica impressione di aver subìto un trauma.
|
24 |
+
'''
|
25 |
+
|
26 |
+
def tag(text: str):
|
27 |
+
""" Generates tags from given text """
|
28 |
+
text = text.strip().replace('\n', '')
|
29 |
+
tokenized_text = tokenizer.encode(text, return_tensors="pt")
|
30 |
+
|
31 |
+
summary_ids = model.generate(tokenized_text,
|
32 |
+
num_beams=4,
|
33 |
+
no_repeat_ngram_size=2,
|
34 |
+
max_length=20,
|
35 |
+
early_stopping=True)
|
36 |
+
|
37 |
+
output = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
|
38 |
+
return output.split(',')
|
39 |
+
|
40 |
+
tags = tag(article)
|
41 |
+
print(tags)
|
42 |
+
```
|