Update README.md
Browse files
README.md
CHANGED
@@ -29,16 +29,17 @@ sentence-similarity를 구하는 용도로 바로 사용할 수도 있고, 목
|
|
29 |
|
30 |
## Usage (Sentence-Transformers)
|
31 |
|
32 |
-
|
33 |
|
34 |
```
|
35 |
pip install -U sentence-transformers
|
36 |
```
|
37 |
|
38 |
-
|
39 |
|
40 |
```python
|
41 |
from sentence_transformers import SentenceTransformer
|
|
|
42 |
sentences = ["This is an example sentence", "Each sentence is converted"]
|
43 |
|
44 |
model = SentenceTransformer('smartmind/roberta-ko-small-tsdae')
|
@@ -46,10 +47,41 @@ embeddings = model.encode(sentences)
|
|
46 |
print(embeddings)
|
47 |
```
|
48 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
49 |
|
50 |
|
51 |
## Usage (HuggingFace Transformers)
|
52 |
-
|
|
|
53 |
|
54 |
```python
|
55 |
from transformers import AutoTokenizer, AutoModel
|
@@ -103,4 +135,4 @@ SentenceTransformer(
|
|
103 |
|
104 |
## Citing & Authors
|
105 |
|
106 |
-
<!--- Describe where people can find more information -->
|
|
|
29 |
|
30 |
## Usage (Sentence-Transformers)
|
31 |
|
32 |
+
[sentence-transformers](https://www.SBERT.net)를 설치한 뒤, 모델을 바로 불러올 수 있습니다.
|
33 |
|
34 |
```
|
35 |
pip install -U sentence-transformers
|
36 |
```
|
37 |
|
38 |
+
이후 다음처럼 모델을 사용할 수 있습니다.
|
39 |
|
40 |
```python
|
41 |
from sentence_transformers import SentenceTransformer
|
42 |
+
|
43 |
sentences = ["This is an example sentence", "Each sentence is converted"]
|
44 |
|
45 |
model = SentenceTransformer('smartmind/roberta-ko-small-tsdae')
|
|
|
47 |
print(embeddings)
|
48 |
```
|
49 |
|
50 |
+
다음은 sentence-transformers의 기능을 사용하여 여러 문장의 유사도를 구하는 예시입니다.
|
51 |
+
|
52 |
+
```python
|
53 |
+
from sentence_transformers import util
|
54 |
+
|
55 |
+
sentences = [
|
56 |
+
"대한민국의 수도는 서울입니다.",
|
57 |
+
"미국의 수도는 뉴욕이 아닙니다.",
|
58 |
+
"대한민국의 수도 요금은 저렴한 편입니다.",
|
59 |
+
"서울은 대한민국의 수도입니다.",
|
60 |
+
"오늘 서울은 하루종일 맑음",
|
61 |
+
]
|
62 |
+
|
63 |
+
paraphrase = util.paraphrase_mining(model, sentences)
|
64 |
+
for score, i, j in paraphrase:
|
65 |
+
print(f"{sentences[i]}\t\t{sentences[j]}\t\t{score:.4f}")
|
66 |
+
```
|
67 |
+
|
68 |
+
```
|
69 |
+
대한민국의 수도는 서울입니다. 서울은 대한민국의 수도입니다. 0.7616
|
70 |
+
대한민국의 수도는 서울입니다. 미국의 수도는 뉴욕이 아닙니다. 0.7031
|
71 |
+
대한민국의 수도는 서울입니다. 대한민국의 수도 요금은 저렴한 편입니다. 0.6594
|
72 |
+
미국의 수도는 뉴욕이 아닙니다. 서울은 대한민국의 수도입니다. 0.6445
|
73 |
+
대한민국의 수도 요금은 저렴한 편입니다. 서울은 대한민국의 수도입니다. 0.4915
|
74 |
+
미국의 수도는 뉴욕이 아닙니다. 대한민국의 수도 요금은 저렴한 편입니다. 0.4785
|
75 |
+
서울은 대한민국의 수도입니다. 오늘 서울은 하루종일 맑음 0.4119
|
76 |
+
대한민국의 수도는 서울입니다. 오늘 서울은 하루종일 맑음 0.3520
|
77 |
+
미국의 수도는 뉴욕이 아닙니다. 오늘 서울은 하루종일 맑음 0.2550
|
78 |
+
대한민국의 수도 요금은 저렴한 편입니다. 오늘 서울은 하루종일 맑음 0.1896
|
79 |
+
```
|
80 |
|
81 |
|
82 |
## Usage (HuggingFace Transformers)
|
83 |
+
|
84 |
+
[sentence-transformers](https://www.SBERT.net)를 설치하지 않은 상태로는 다음처럼 사용할 수 있습니다.
|
85 |
|
86 |
```python
|
87 |
from transformers import AutoTokenizer, AutoModel
|
|
|
135 |
|
136 |
## Citing & Authors
|
137 |
|
138 |
+
<!--- Describe where people can find more information -->
|