Update README.md
Browse files
README.md
CHANGED
@@ -38,10 +38,13 @@ import numpy as np
|
|
38 |
|
39 |
tokenizer = AutoTokenizer.from_pretrained("osiria/distiluse-base-italian")
|
40 |
model = AutoModel.from_pretrained("osiria/distiluse-base-italian")
|
|
|
41 |
text1 = "Alessandro Manzoni è stato uno scrittore italiano"
|
42 |
text2 = "Giacomo Leopardi è stato un poeta italiano"
|
|
|
43 |
vec1 = model(tokenizer.encode(text1, return_tensors = "pt")).last_hidden_state[0,0,:].cpu().detach().numpy()
|
44 |
vec2 = model(tokenizer.encode(text2, return_tensors = "pt")).last_hidden_state[0,0,:].cpu().detach().numpy()
|
|
|
45 |
cosine_similarity = np.dot(vec1, vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2))
|
46 |
print("COSINE SIMILARITY:", cosine_similarity)
|
47 |
|
|
|
38 |
|
39 |
tokenizer = AutoTokenizer.from_pretrained("osiria/distiluse-base-italian")
|
40 |
model = AutoModel.from_pretrained("osiria/distiluse-base-italian")
|
41 |
+
|
42 |
text1 = "Alessandro Manzoni è stato uno scrittore italiano"
|
43 |
text2 = "Giacomo Leopardi è stato un poeta italiano"
|
44 |
+
|
45 |
vec1 = model(tokenizer.encode(text1, return_tensors = "pt")).last_hidden_state[0,0,:].cpu().detach().numpy()
|
46 |
vec2 = model(tokenizer.encode(text2, return_tensors = "pt")).last_hidden_state[0,0,:].cpu().detach().numpy()
|
47 |
+
|
48 |
cosine_similarity = np.dot(vec1, vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2))
|
49 |
print("COSINE SIMILARITY:", cosine_similarity)
|
50 |
|