--- language: - ko tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:1120235 - loss:CachedMultipleNegativesRankingLoss base_model: answerdotai/ModernBERT-large widget: - source_sentence: 나, 가스불, 찻물, 올리다 sentences: - 나는 가스불에 꽃을 넣은 찻물을 올렸다. - 과제수행 기간중에 연구 현장에 대해 정기점검을 실시하고, 과제 수행 종료 후에도 일정한 안전조치를 이행하도록 규정한다. - 고기, 상추, 밥, 나, 올리다 - source_sentence: 파란색 데님 재킷을 입은 여성과 검은색 코트를 입은 여성이 일본 식당 앞에 서 있다. sentences: - 복합 도금된 시편의 표면과 조성은 전계방출 주사전자현미경(field emission scanning electron microscopy,FESEM)과 에너지 분산형 X-선 분광기(energy dispersivespectroscopy, EDS)를 이용하여 분석하였다. - 재킷을 입은 두 여자가 식당 밖에 서 있다. - 두 여자가 식당 밖에서 음식을 먹는다 - source_sentence: 한 남자가 암벽을 오르고 다른 남자가 아래에 있다. sentences: - 남자가 암벽을 기어오르다 - 담당 공무원들은 보호 관찰 대상자를 정기적으로 상담을 했다. - 한 남자가 암벽에 오른다. - source_sentence: 골목, 동네, 동, 나누다, 크다, 서 sentences: - 큰 골목이 우리 동네를 동과 서로 나눠 놓았다. - 내 아내는 몸에 좋은 음식을 항상 만들어 주었다. - 골목, 많다, 공간, 놀이, 골목 - source_sentence: 한 소녀가 자전거를 타고 있고 모든 사람들이 도시에서 그녀에게 달려들고 있다. sentences: - 소녀는 자전거를 탄다 - 소녀가 자전거를 타고 있다. - 그리고 특수한 소재의 광섬유를 이용한 온도센서는 감도가 고정되는 단점이 있고, 간섭계형 온도센서는 높은 감도의 장점을 가지지만, 2차 코팅이 이루어지지 않은 광섬유 센서나 팁기반 광섬유 센서는 일반적으로 클래드를 제거하여 융착(splicing)을 하기 때문에 취급상에 불편함과 파손되기 쉬운 단점을 가지고 있다. datasets: - sigridjineth/korean_nli_dataset_reranker_v1 pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - cosine_accuracy model-index: - name: SentenceTransformer based on answerdotai/ModernBERT-large results: - task: type: triplet name: Triplet dataset: name: dev eval type: dev-eval metrics: - type: cosine_accuracy value: 0.877 name: Cosine Accuracy --- # SentenceTransformer based on answerdotai/ModernBERT-large This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [answerdotai/ModernBERT-large](https://huggingface.co/answerdotai/ModernBERT-large) on the [korean_nli_dataset_reranker_v1](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1) dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [answerdotai/ModernBERT-large](https://huggingface.co/answerdotai/ModernBERT-large) - **Maximum Sequence Length:** 8192 tokens - **Output Dimensionality:** 1024 dimensions - **Similarity Function:** Cosine Similarity - **Training Dataset:** - [korean_nli_dataset_reranker_v1](https://huggingface.co/datasets/sigridjineth/korean_nli_dataset_reranker_v1) - **Language:** ko ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Evaluation ### Metrics ### AutoRAG Retrieval | Metrics | sigridjineth/ModernBERT-korean-large-preview (241225) | Alibaba-NLP/gte-multilingual-base | answerdotai/ModernBERT-large | |------|----------------------------------------------|-----------------------------------|------------------------------| | **NDCG@10** | 0.72503 | 0.77108 | 0.0 | | **Recall@10** | 0.87719 | 0.93860 | 0.0 | | **Precision@1** | 0.57018 | 0.59649 | 0.0 | | **NDCG@100** | 0.74543 | 0.78411 | 0.01565 | | **Recall@100** | 0.98246 | 1.0 | 0.09649 | | **Recall@1000** | 1.0 | 1.0 | 1.0 | #### Triplet * Dataset: `dev-eval` * Evaluated with [TripletEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) | Metric | Value | |:--------------------|:----------| | **cosine_accuracy** | **0.877** | ## Training Details ### Training Dataset * Size: 1,120,235 training samples * Columns: query, positive, and negative * Approximate statistics based on the first 1000 samples: | | query | positive | negative | |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | string | | details | | | | * Samples: | query | positive | negative | |:-------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------| | 양복을 입은 노인이 짐을 뒤로 끌고 간다. | 양복을 입은 남자 | 옷을 입은 노인 | | 한국의 제1위 서비스 수출 시장은 중국이니 | 중국은 세계 제2위의 서비스 교역국*이자 우리나라의 제1위 서비스 수출 시장**으로서,
* 2016년 중국의 서비스교역 규모는 6,571억불로 미국(12,145억불)에 이어 세계 2위
* 중국 서비스산업의 GDP대비 비중은 2015년 50% 돌파, 서비스산업 성장률 98.3%) > GDP 성장률(6.9%)
** 2016년 서비스 분야 우리의 對中수출(206억불)은 對세계수출(949억불)의 22%
ㅇ 네거티브 방식의 포괄적인 서비스 투자 개방 협정이 중국과 체결될 경우, 양국간 상호 서비스 시장 개방 수준을 높이고, 우리 투자 기업에 대한 실질적 보호를 한층 강화할 수 있을 것으로 기대된다. | 우리나라에서 중국으로 수출되는 제품은 점점 계속 증가하고 있다. | | 아버지, 병원, 치료, 받다, 결심하다 | 너무나 아팠던 아버지는 병원에서 치료를 받기로 결심했다. | 요즘, 아버지, 건강, 걱정 | * Loss: [CachedMultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Training Logs | Epoch | Step | dev-eval_cosine_accuracy | |:------:|:----:|:------------------------:| | 0 | 0 | 0.331 | | 4.8783 | 170 | 0.877 | ### Framework Versions - Python: 3.11.9 - Sentence Transformers: 3.3.1 - Transformers: 4.48.0.dev0 - PyTorch: 2.3.0+cu121 - Accelerate: 1.2.1 - Datasets: 3.2.0 - Tokenizers: 0.21.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### CachedMultipleNegativesRankingLoss ```bibtex @misc{gao2021scaling, title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan}, year={2021}, eprint={2101.06983}, archivePrefix={arXiv}, primaryClass={cs.LG} } ```