Spaces:
Runtime error
Runtime error
ruanchaves
commited on
Commit
•
8035793
1
Parent(s):
0869455
feat: add scores to evalaution output
Browse files
app.py
CHANGED
@@ -34,21 +34,21 @@ exibindo a porcentagem de similaridade entre os pares textuais.)
|
|
34 |
""" }
|
35 |
|
36 |
score_descriptions = {
|
37 |
-
0: "The sentences are completely different from each other and do not have any common topic or similarity.",
|
38 |
-
1: "The sentences are completely different from each other and do not have any common topic or similarity.",
|
39 |
-
2: "The sentences are not directly related, but they share some topic or theme.",
|
40 |
-
3: "The sentences are somewhat related: they may have different content but have some common details or aspects.",
|
41 |
-
4: "The sentences are strongly related, but still have some differences in details or wording.",
|
42 |
-
5: "The sentences convey essentially the same message or information."
|
43 |
}
|
44 |
|
45 |
score_descriptions_pt = {
|
46 |
-
0: "(As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
|
47 |
-
1: "(As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
|
48 |
-
2: "(As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.)",
|
49 |
-
3: "(As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.)",
|
50 |
-
4: "(As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.)",
|
51 |
-
5: "(As frases transmitem essencialmente a mesma mensagem ou informação.)"
|
52 |
}
|
53 |
|
54 |
model_list = [
|
@@ -90,10 +90,12 @@ def similarity(s1, s2):
|
|
90 |
output = model(**model_input)
|
91 |
score = output[0][0].item()
|
92 |
scores[name] = score
|
93 |
-
|
|
|
|
|
94 |
description = score_descriptions[round(average_score)]
|
95 |
description_pt = score_descriptions_pt[round(average_score)]
|
96 |
-
final_description = description + "\n \n" + description_pt
|
97 |
|
98 |
for key, value in scores.items():
|
99 |
scores[key] = '{:,.2%}'.format(min(value, 5) / 5)
|
|
|
34 |
""" }
|
35 |
|
36 |
score_descriptions = {
|
37 |
+
0: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.",
|
38 |
+
1: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.",
|
39 |
+
2: "The sentences are {0} similar. The sentences are not directly related, but they share some topic or theme.",
|
40 |
+
3: "The sentences are {0} similar. The sentences are somewhat related: they may have different content but have some common details or aspects.",
|
41 |
+
4: "The sentences are {0} similar. The sentences are strongly related, but still have some differences in details or wording.",
|
42 |
+
5: "The sentences are {0} similar. The sentences convey essentially the same message or information."
|
43 |
}
|
44 |
|
45 |
score_descriptions_pt = {
|
46 |
+
0: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
|
47 |
+
1: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
|
48 |
+
2: "(As frases possuem uma semelhança de {0}. As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.)",
|
49 |
+
3: "(As frases possuem uma semelhança de {0}. As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.)",
|
50 |
+
4: "(As frases possuem uma semelhança de {0}. As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.)",
|
51 |
+
5: "(As frases possuem uma semelhança de {0}. As frases transmitem essencialmente a mesma mensagem ou informação.)"
|
52 |
}
|
53 |
|
54 |
model_list = [
|
|
|
90 |
output = model(**model_input)
|
91 |
score = output[0][0].item()
|
92 |
scores[name] = score
|
93 |
+
assin2_scores = {k: v for k, v in scores.items() if "ASSIN 2" in k}
|
94 |
+
average_score = sum(assin2_scores.values()) / len(assin2_scores)
|
95 |
+
average_score_str = '{:,.2%}'.format(min(average_score,5) / 5)
|
96 |
description = score_descriptions[round(average_score)]
|
97 |
description_pt = score_descriptions_pt[round(average_score)]
|
98 |
+
final_description = description.format(average_score_str) + "\n \n" + description_pt.format(average_score_str)
|
99 |
|
100 |
for key, value in scores.items():
|
101 |
scores[key] = '{:,.2%}'.format(min(value, 5) / 5)
|