Hugging Face's logo

hotamago
/
bkai-2024-retrival-e5-finetune-v2

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:396991
loss:MultipleNegativesRankingLoss
Eval Results
text-embeddings-inference
Inference Endpoints
Model card Files Community
Edit model card

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large-instruct
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (4): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (5): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (6): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (7): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Tổ chức thu phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động phải nộp phí cho Kho bạc nhà nước khi nào?',
    'Kê khai, nộp phí, lệ phí\n1. Chậm nhất là ngày 05 hàng tháng, tổ chức thu phí phải gửi số tiền phí đã thu của tháng trước vào tài khoản phí chờ nộp ngân sách mở tại Kho bạc nhà nước.\n...',
    'Mức thu phí\nMức phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động; huấn luyện an toàn, vệ sinh lao động thực hiện theo quy định tại Biểu mức thu phí ban hành kèm theo Thông tư này.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Metric Value
cosine_accuracy 0.7555
dot_accuracy 0.2445
manhattan_accuracy 0.7545
euclidean_accuracy 0.7555
max_accuracy 0.7555

Training Details

Training Dataset

Unnamed Dataset

  • Size: 396,991 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 8 tokens
    • mean: 23.97 tokens
    • max: 50 tokens
    • min: 22 tokens
    • mean: 263.9 tokens
    • max: 512 tokens
    • min: 20 tokens
    • mean: 246.69 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative
    Hội viên sáng lập của Hiệp hội Kinh doanh vàng Việt Nam có những quyền hạn nào? Hội viên có quyền:
    1. Được hưởng các quyền do Hiệp hội mang lại.
    2. Tất cả các Hội viên đều có quyền tham gia Đại hội, các Hội viên chính thức được biểu quyết và đề cử, ứng cử vào các cơ quan lãnh đạo của Hiệp hội.
    3. Ra khỏi Hiệp hội, nhưng phải có đơn trước 3 tháng gửi Hiệp hội và phải đóng đủ hội phí của năm đó.    		 Mọi tổ chức, cá nhân sản xuất kinh doanh vàng tán thành và tự nguyện xin gia nhập Hiệp hội đều có thể trở thành Hội viên của Hiệp hội.
    Hiệp hội có 4 loại Hội viên: Hội viên sáng lập, Hội viên chính thức, Hội viên thông tấn và Hội viên danh dự.
    1. Hội viên sáng lập: là các tổ chức, cá nhân có công sáng lập và đóng góp tài chính để thành lập Hiệp hội Kinh doanh vàng.
    2. Hội viên chính thức: là các doanh nghiệp, các cá nhân, các nhà quản lý có kinh nghiệm trong lĩnh vực hoạt động sản xuất kinh doanh vàng, kim loại quí, đá quí và hàng trang sức và được Ban chấp hành công nhận.
    3. Hội viên thông tấn: là những chuyên gia người Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế cùng ngành nghề trong và ngoài nước có khả năng tư vấn, hướng dẫn, đóng góp vào việc thực hiện các mục đích và chương trình hoạt động của Hiệp hội.
    4. Hội viên danh dự: là những công dân Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế đã có nhiều công lao đóng góp đặc biệt cho hoạt động của Hiệp hội.
    Tội đưa trái phép thông tin mạng máy tính dẫn đến biểu tình được phân loại tội phạm nhóm nào? “Điều 9. Phân loại tội phạm
    1. Căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội được quy định trong Bộ luật này, tội phạm được phân thành 04 loại sau đây:
    a) Tội phạm ít nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội không lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là phạt tiền, phạt cải tạo không giam giữ hoặc phạt tù đến 03 năm;
    b) Tội phạm nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 03 năm tù đến 07 năm tù;
    c) Tội phạm rất nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội rất lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 07 năm tù đến 15 năm tù;
    d) Tội phạm đặc biệt nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội đặc biệt lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 15 năm tù đến 20 năm tù, tù chung thân hoặc tử hình.
    2. Tội phạm do pháp nhân thương mại thực hiện được phân loại căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội theo quy định tại khoản 1 Điều này và quy định tương ứng đối với các tội phạm được quy định tại Điều 76 của Bộ luật này.”
    Như vậy, thời hiệu truy cứu trách nhiệm hình sự sẽ căn cứ vào loại tội phạm để xác định. Cụ thể về tội giết người như sau:
    Tội phạm đặc biệt nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 20 năm
    Tội phạm rất nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 15 năm
    Tội phạm nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 10 năm."    		 Tội xâm nhập trái phép vào mạng máy tính, mạng viễn thông hoặc phương tiện điện tử của người khác
    ...
    2. Phạm tội thuộc một trong các trường hợp sau đây, thì bị phạt tiền từ 300.000.000 đồng đến 1.000.000.000 đồng hoặc bị phạt tù từ 03 năm đến 07 năm:
    a) Có tổ chức;
    b) Lợi dụng chức vụ, quyền hạn;
    ...
    Tiêu chuẩn và trình độ chuẩn được đào tạo của giáo viên giáo dục thường xuyên được quy định như thế nào? Tiêu chuẩn, trình độ chuẩn được đào tạo của giáo viên
    1. Giáo viên giảng dạy các chương trình giáo dục thường xuyên cấp trung học cơ sở và chương trình giáo dục thường xuyên cấp trung học phổ thông phải đạt trình độ chuẩn được đào tạo và tiêu chuẩn chức danh nghề nghiệp theo quy định như giáo viên phổ thông tương ứng với từng cấp học.
    2. Giáo viên tham gia giảng dạy các chương trình giáo dục, đào tạo để lấy chứng chỉ của hệ thống giáo dục quốc dân phải đảm bảo các điều kiện về trình độ chuyên môn, nghiệp vụ theo quy định.
    3. Giáo viên tham gia giảng dạy các chương trình giáo dục khác của Trung tâm phải đảm bảo các điều kiện về chuyên môn, nghiệp vụ do giám đốc Trung tâm quy định.    		 Tiêu chuẩn và trình độ chuẩn của giáo viên trong Trung tâm
    1. Giáo viên trong Trung tâm phải có các tiêu chuẩn sau:
    a) Có phẩm chất, tư tưởng, đạo đức tốt;
    b) Đáp ứng chuẩn nghề nghiệp theo vị trí việc làm và đạt trình độ chuẩn được đào tạo về chuyên môn, nghiệp vụ theo quy định tại khoản 2 Điều này;
    c) Có lý lịch rõ ràng; bảo đảm sức khỏe theo yêu cầu nghề nghiệp.
    2. Trình độ chuẩn được đào tạo của giáo viên
    a) Giáo viên dạy trình độ sơ cấp phải có bằng tốt nghiệp trung cấp trở lên hoặc có chứng chỉ kỹ năng nghề để dạy trình độ sơ cấp;
    b) Giáo viên dạy trình độ sơ cấp quy định tại điểm a khoản này, nếu không có bằng tốt nghiệp cao đẳng sư phạm, cao đẳng sư phạm kỹ thuật hoặc bằng tốt nghiệp đại học sư phạm, đại học sư phạm kỹ thuật thì phải có chứng chỉ nghiệp vụ sư phạm.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 2,000 evaluation samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 8 tokens
    • mean: 24.18 tokens
    • max: 44 tokens
    • min: 28 tokens
    • mean: 265.86 tokens
    • max: 512 tokens
    • min: 15 tokens
    • mean: 252.19 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative
    Hồ sơ yêu cầu cấp giấy chứng nhận đăng ký đầu tư có yêu cầu báo cáo đánh giá tác động môi trường không? “Điều 33. Hồ sơ, nội dung thẩm định đề nghị chấp thuận chủ trương đầu tư
    1. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do nhà đầu tư đề xuất bao gồm:
    a) Văn bản đề nghị thực hiện dự án đầu tư, gồm cả cam kết chịu mọi chi phí, rủi ro nếu dự án không được chấp thuận;
    b) Tài liệu về tư cách pháp lý của nhà đầu tư;
    c) Tài liệu chứng minh năng lực tài chính của nhà đầu tư gồm ít nhất một trong các tài liệu sau: báo cáo tài chính 02 năm gần nhất của nhà đầu tư; cam kết hỗ trợ tài chính của công ty mẹ; cam kết hỗ trợ tài chính của tổ chức tài chính; bảo lãnh về năng lực tài chính của nhà đầu tư; tài liệu khác chứng minh năng lực tài chính của nhà đầu tư;
    d) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: nhà đầu tư hoặc hình thức lựa chọn nhà đầu tư, mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư và phương án huy động vốn, địa điểm, thời hạn, tiến độ thực hiện, thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án và đề xuất nhu cầu sử dụng đất (nếu có), nhu cầu về lao động, đề xuất hưởng ưu đãi đầu tư, tác động, hiệu quả kinh tế - xã hội của dự án, đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường.
    Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì nhà đầu tư được nộp báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư;
    đ) Trường hợp dự án đầu tư không đề nghị Nhà nước giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất thì nộp bản sao giấy tờ về quyền sử dụng đất hoặc tài liệu khác xác định quyền sử dụng địa điểm để thực hiện dự án đầu tư;
    e) Nội dung giải trình về công nghệ sử dụng trong dự án đầu tư đối với dự án thuộc diện thẩm định, lấy ý kiến về công nghệ theo quy định của pháp luật về chuyển giao công nghệ;
    g) Hợp đồng BCC đối với dự án đầu tư theo hình thức hợp đồng BCC;
    h) Tài liệu khác liên quan đến dự án đầu tư, yêu cầu về điều kiện, năng lực của nhà đầu tư theo quy định của pháp luật (nếu có).
    2. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do cơ quan nhà nước có thẩm quyền lập bao gồm:
    a) Tờ trình chấp thuận chủ trương đầu tư;
    b) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư, địa điểm, thời hạn, tiến độ thực hiện, tác động, hiệu quả kinh tế - xã hội của dự án; thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án, điều kiện thu hồi đất đối với dự án thuộc diện thu hồi đất, dự kiến nhu cầu sử dụng đất (nếu có); đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường; dự kiến hình thức lựa chọn nhà đầu tư và điều kiện đối với nhà đầu tư (nếu có); cơ chế, chính sách đặc biệt (nếu có).
    Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì cơ quan nhà nước có thẩm quyền được sử dụng báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư.”    		 Khoản 1. Nội dung chính của báo cáo đề xuất cấp giấy phép môi trường đối với dự án đầu tư đã có quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường trước khi đi vào vận hành thử nghiệm, bao gồm:
    a) Thông tin chung về dự án đầu tư: tên dự án, chủ dự án; địa điểm thực hiện dự án; cơ quan thẩm định thiết kế xây dựng, cấp các loại giấy phép có liên quan đến môi trường, phê duyệt dự án; quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường của dự án; văn bản thay đổi (nếu có); quá trình thực hiện dự án; quy mô (phân loại theo tiêu chí quy định của pháp luật về đầu tư công), công suất, công nghệ, sản phẩm sản xuất, lượng điện, nguồn và lượng nước sử dụng, nguồn tiếp nhận nước thải, nguyên liệu, nhiên liệu, vật liệu, phế liệu, hóa chất sử dụng và các thông tin khác có liên quan đến dự án;
    b) Sự phù hợp của dự án đầu tư với quy hoạch bảo vệ môi trường quốc gia, quy hoạch tỉnh, phân vùng môi trường, khả năng chịu tải của môi trường (nếu có);
    c) Kết quả hoàn thành các công trình, biện pháp bảo vệ môi trường (công trình được bàn giao, nghiệm thu giữa chủ đầu tư, nhà thầu và đơn vị giám sát thi công theo quy định của pháp luật về xây dựng): các công trình, thiết bị thu gom, xử lý nước thải, bụi, khí thải; công trình lưu giữ, xử lý chất thải rắn công nghiệp thông thường, chất thải rắn sinh hoạt, chất thải nguy hại; công trình, biện pháp giảm thiểu tiếng ồn, độ rung; công trình phòng ngừa, ứng phó sự cố môi trường và công trình bảo vệ môi trường khác. Các thông tin chính gồm: quy mô, công suất, quy trình vận hành; hóa chất, chế phẩm sinh học sử dụng để xử lý nước thải; hóa chất, chất xúc tác sử dụng để xử lý bụi, khí thải; các hệ thống thiết bị xử lý chất thải đồng bộ, hợp khối, thiết bị quan trắc tự động, liên tục (đối với trường hợp phải lắp đặt) và thiết bị xử lý khác (kèm theo CO/CQ của thiết bị); các thông số kỹ thuật cơ bản; tiêu chuẩn, quy chuẩn áp dụng. Đối với dự án đầu tư xử lý chất thải rắn tập trung, chất thải nguy hại phải nêu rõ các công trình, thiết bị, phương tiện thu gom và xử lý chất thải. Đối với dự án đầu tư có sử dụng phế liệu nhập khẩu từ nước ngoài làm nguyên liệu sản xuất phải nêu rõ công nghệ sản xuất; điều kiện kho, bãi lưu giữ; hệ thống thiết bị tái chế; phương án xử lý tạp chất; phương án tái xuất phế liệu phù hợp với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường. Đối với dự án đầu tư có hoạt động xả nước thải vào công trình thủy lợi phải nêu rõ việc thực hiện các yêu cầu về bảo vệ môi trường đối với công trình thủy lợi;
    d) Kế hoạch, tiến độ, kết quả thực hiện phương án cải tạo, phục hồi môi trường, phương án bồi hoàn đa dạng sinh học (nếu có);
    đ) Đề xuất nội dung thay đổi so với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường (nếu có) kèm theo đánh giá tác động đến môi trường từ việc thay đổi này;
    e) Nội dung đề nghị cấp giấy phép môi trường quy định tại khoản 2 Điều 40 Luật Bảo vệ môi trường;
    Có loại thuốc nào thay thế để điều trị sốt rét thể thông thường (chưa biến chứng) hay không? III. ĐIỀU TRỊ
    ...
    2. Điều trị cụ thể
    2.1. Điều trị sốt rét thể thông thường (chưa biến chứng)
    ...
    b) Điều trị thay thế
    Trong trường hợp không có pyronaridin tetraphosphat - artesunat bệnh nhân nhiễm sốt rét có thể được điều trị bằng một trong các thuốc sốt rét sau theo thứ tự ưu tiên:
    - Artesunat - mefloquin (xem Bảng 9)
    - Artemether - lumefantrin (xem Bảng 10)
    - Artesunat - amodiaquin (xem Bảng 11)
    - Dihydroartemisinin - piperaquin (xem Bảng 12)
    - Quinin (xem Bảng 6) + clindamycin (xem Bảng 7) hoặc quinin (xem Bảng 6) + doxycycline (xem Bảng 8)
    ...    		 III. ĐIỀU TRỊ
    1. Nguyên tắc điều trị
    - Phát hiện và điều trị sớm bằng thuốc đặc trị đúng và đủ liều;
    - Điều trị cắt cơn sốt kết hợp với chống lây lan đối với sốt rét do P. falciparum, P. malariae, P. knowlesi và điều trị tiệt căn đối với sốt rét do P. vivax, P. ovale ngay từ ngày đầu tiên;
    - Các trường hợp sốt rét do P. falciparum không được dùng một thuốc sốt rét đơn thuần, phải điều trị thuốc sốt rét phối hợp hoặc phối hợp các thuốc khác nhau để tăng hiệu lực điều trị và hạn chế kháng thuốc;
    - Kết hợp điều trị thuốc sốt rét đặc hiệu với điều trị hỗ trợ và nâng cao thể trạng;
    - Điều trị sốt rét ở người bệnh có bệnh lý kèm theo thì phải điều trị kết hợp bệnh lý kèm theo;
    - Các trường hợp sốt rét ác tính phải chuyển về đơn vị hồi sức cấp cứu của bệnh viện từ tuyến huyện trở lên, theo dõi chặt chẽ và hồi sức tích cực;
    - Có thể chỉ định điều trị cho một số trường hợp nghi ngờ sốt rét có dấu hiệu đe dọa đến tính mạng của người bệnh sau khi đã loại trừ các nguyên nhân khác.
    ...
    Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật được quy định thế nào? Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật
    1. Cơ quan chủ quản chịu trách nhiệm về nội dung thông tin, kết quả hợp tác quốc tế về pháp luật được chia sẻ.
    2. Việc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật phải được thực hiện đầy đủ, kịp thời, khách quan, trung thực và bảo đảm tuân thủ các quy định pháp luật về bảo vệ bí mật nhà nước.    		 Nội dung chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật
    Căn cứ từng hoạt động hợp tác quốc tế về pháp luật, thông tin, kết quả hợp tác quốc tế về pháp luật bao gồm một hoặc nhiều các nội dung sau đây:
    1. Các điều ước quốc tế, thỏa thuận quốc tế về hợp tác pháp luật bằng tiếng Việt và tiếng nước ngoài.
    2. Các văn kiện chương trình, dự án hợp tác pháp luật; các văn kiện viện trợ phi dự án về pháp luật bằng tiếng Việt và tiếng nước ngoài (nếu có).
    3. Các loại báo cáo: báo cáo kết thúc chương trình, dự án, viện trợ phi dự án; báo cáo kết quả nghiên cứu; báo cáo kết quả khảo sát.
    4. Thông tin về chuyên gia tham gia hoạt động hợp tác quốc tế về pháp luật.
    5. Báo cáo kết quả hội nghị, hội thảo, tọa đàm quốc tế về pháp luật, chương trình, tham luận và các tài liệu khác được phát hành tại hội nghị, hội thảo, tọa đàm.
    6. Các thông tin khác có liên quan.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • num_train_epochs: 5
  • warmup_ratio: 0.1
  • bf16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss max_accuracy
0.0081 100 2.9884 - -
0.0161 200 2.5311 - -
0.0242 300 1.7761 - -
0.0322 400 1.3244 - -
0.0403 500 1.196 - -
0.0484 600 1.1459 - -
0.0564 700 1.0704 - -
0.0645 800 1.066 - -
0.0725 900 1.0275 - -
0.0806 1000 1.0203 - -
0.0887 1100 0.9794 - -
0.0967 1200 0.9848 - -
0.1048 1300 0.9574 - -
0.1128 1400 0.9511 - -
0.1209 1500 0.964 - -
0.1290 1600 0.8923 - -
0.1370 1700 0.8941 - -
0.1451 1800 0.9355 - -
0.1532 1900 0.9291 - -
0.1612 2000 0.9343 0.8869 0.6085
0.1693 2100 0.9034 - -
0.1773 2200 0.907 - -
0.1854 2300 0.8614 - -
0.1935 2400 0.8946 - -
0.2015 2500 0.8955 - -
0.2096 2600 0.8864 - -
0.2176 2700 0.8653 - -
0.2257 2800 0.8913 - -
0.2338 2900 0.8635 - -
0.2418 3000 0.8836 - -
0.2499 3100 0.8678 - -
0.2579 3200 0.8544 - -
0.2660 3300 0.8793 - -
0.2741 3400 0.8471 - -
0.2821 3500 0.8527 - -
0.2902 3600 0.8447 - -
0.2982 3700 0.8507 - -
0.3063 3800 0.833 - -
0.3144 3900 0.8521 - -
0.3224 4000 0.864 0.8059 0.6525
0.3305 4100 0.8357 - -
0.3385 4200 0.843 - -
0.3466 4300 0.8433 - -
0.3547 4400 0.84 - -
0.3627 4500 0.8417 - -
0.3708 4600 0.8333 - -
0.3788 4700 0.8606 - -
0.3869 4800 0.8432 - -
0.3950 4900 0.8279 - -
0.4030 5000 0.8607 - -
0.4111 5100 0.8417 - -
0.4192 5200 0.833 - -
0.4272 5300 0.8252 - -
0.4353 5400 0.833 - -
0.4433 5500 0.8013 - -
0.4514 5600 0.8242 - -
0.4595 5700 0.805 - -
0.4675 5800 0.8544 - -
0.4756 5900 0.7982 - -
0.4836 6000 0.836 0.7820 0.665
0.4917 6100 0.8084 - -
0.4998 6200 0.8058 - -
0.5078 6300 0.8371 - -
0.5159 6400 0.8397 - -
0.5239 6500 0.7934 - -
0.5320 6600 0.8266 - -
0.5401 6700 0.834 - -
0.5481 6800 0.8096 - -
0.5562 6900 0.8322 - -
0.5642 7000 0.8102 - -
0.5723 7100 0.8055 - -
0.5804 7200 0.7932 - -
0.5884 7300 0.8168 - -
0.5965 7400 0.8309 - -
0.6045 7500 0.7806 - -
0.6126 7600 0.8256 - -
0.6207 7700 0.8115 - -
0.6287 7800 0.8066 - -
0.6368 7900 0.7991 - -
0.6448 8000 0.8191 0.7699 0.6695
0.6529 8100 0.8029 - -
0.6610 8200 0.8204 - -
0.6690 8300 0.8325 - -
0.6771 8400 0.813 - -
0.6852 8500 0.7866 - -
0.6932 8600 0.8033 - -
0.7013 8700 0.821 - -
0.7093 8800 0.797 - -
0.7174 8900 0.7938 - -
0.7255 9000 0.778 - -
0.7335 9100 0.7855 - -
0.7416 9200 0.8029 - -
0.7496 9300 0.7938 - -
0.7577 9400 0.7958 - -
0.7658 9500 0.7687 - -
0.7738 9600 0.778 - -
0.7819 9700 0.8192 - -
0.7899 9800 0.7672 - -
0.7980 9900 0.7971 - -
0.8061 10000 0.7921 0.7567 0.681
0.8141 10100 0.7865 - -
0.8222 10200 0.8035 - -
0.8302 10300 0.7903 - -
0.8383 10400 0.7964 - -
0.8464 10500 0.7753 - -
0.8544 10600 0.7627 - -
0.8625 10700 0.7607 - -
0.8705 10800 0.7747 - -
0.8786 10900 0.7963 - -
0.8867 11000 0.7939 - -
0.8947 11100 0.792 - -
0.9028 11200 0.789 - -
0.9108 11300 0.7794 - -
0.9189 11400 0.7838 - -
0.9270 11500 0.7993 - -
0.9350 11600 0.7638 - -
0.9431 11700 0.7685 - -
0.9512 11800 0.7532 - -
0.9592 11900 0.7827 - -
0.9673 12000 0.7504 0.7412 0.691
0.9753 12100 0.7901 - -
0.9834 12200 0.7564 - -
0.9915 12300 0.7608 - -
0.9995 12400 0.758 - -
1.0075 12500 0.7507 - -
1.0156 12600 0.7845 - -
1.0236 12700 0.7881 - -
1.0317 12800 0.7745 - -
1.0397 12900 0.7502 - -
1.0478 13000 0.7473 - -
1.0559 13100 0.7513 - -
1.0639 13200 0.7803 - -
1.0720 13300 0.7395 - -
1.0800 13400 0.756 - -
1.0881 13500 0.7608 - -
1.0962 13600 0.7642 - -
1.1042 13700 0.7675 - -
1.1123 13800 0.7446 - -
1.1203 13900 0.7583 - -
1.1284 14000 0.747 0.7356 0.688
1.1365 14100 0.7138 - -
1.1445 14200 0.7599 - -
1.1526 14300 0.7488 - -
1.1606 14400 0.7621 - -
1.1687 14500 0.7652 - -
1.1768 14600 0.7473 - -
1.1848 14700 0.7111 - -
1.1929 14800 0.736 - -
1.2010 14900 0.7578 - -
1.2090 15000 0.7583 - -
1.2171 15100 0.7265 - -
1.2251 15200 0.766 - -
1.2332 15300 0.7309 - -
1.2413 15400 0.7476 - -
1.2493 15500 0.7302 - -
1.2574 15600 0.7481 - -
1.2654 15700 0.7492 - -
1.2735 15800 0.7417 - -
1.2816 15900 0.7329 - -
1.2896 16000 0.7239 0.7101 0.698
1.2977 16100 0.7495 - -
1.3057 16200 0.7403 - -
1.3138 16300 0.7478 - -
1.3219 16400 0.7782 - -
1.3299 16500 0.719 - -
1.3380 16600 0.7387 - -
1.3460 16700 0.7265 - -
1.3541 16800 0.7336 - -
1.3622 16900 0.726 - -
1.3702 17000 0.7156 - -
1.3783 17100 0.731 - -
1.3863 17200 0.7445 - -
1.3944 17300 0.7154 - -
1.4025 17400 0.742 - -
1.4105 17500 0.7437 - -
1.4186 17600 0.7449 - -
1.4266 17700 0.724 - -
1.4347 17800 0.7179 - -
1.4428 17900 0.713 - -
1.4508 18000 0.7286 0.7053 0.7045
1.4589 18100 0.7263 - -
1.4670 18200 0.7496 - -
1.4750 18300 0.7036 - -
1.4831 18400 0.7241 - -
1.4911 18500 0.7089 - -
1.4992 18600 0.7069 - -
1.5073 18700 0.7448 - -
1.5153 18800 0.7317 - -
1.5234 18900 0.6996 - -
1.5314 19000 0.7371 - -
1.5395 19100 0.7392 - -
1.5476 19200 0.7164 - -
1.5556 19300 0.7306 - -
1.5637 19400 0.7189 - -
1.5717 19500 0.7124 - -
1.5798 19600 0.7072 - -
1.5879 19700 0.7233 - -
1.5959 19800 0.726 - -
1.6040 19900 0.6862 - -
1.6120 20000 0.7175 0.6955 0.707
1.6201 20100 0.7171 - -
1.6282 20200 0.7216 - -
1.6362 20300 0.7166 - -
1.6443 20400 0.7231 - -
1.6523 20500 0.7231 - -
1.6604 20600 0.7301 - -
1.6685 20700 0.74 - -
1.6765 20800 0.7297 - -
1.6846 20900 0.7074 - -
1.6926 21000 0.7268 - -
1.7007 21100 0.7352 - -
1.7088 21200 0.726 - -
1.7168 21300 0.7302 - -
1.7249 21400 0.6831 - -
1.7330 21500 0.6968 - -
1.7410 21600 0.7517 - -
1.7491 21700 0.713 - -
1.7571 21800 0.7135 - -
1.7652 21900 0.6858 - -
1.7733 22000 0.6923 0.6919 0.7155
1.7813 22100 0.7303 - -
1.7894 22200 0.6825 - -
1.7974 22300 0.7212 - -
1.8055 22400 0.698 - -
1.8136 22500 0.7044 - -
1.8216 22600 0.7258 - -
1.8297 22700 0.7262 - -
1.8377 22800 0.7132 - -
1.8458 22900 0.6897 - -
1.8539 23000 0.6985 - -
1.8619 23100 0.694 - -
1.8700 23200 0.6898 - -
1.8780 23300 0.7238 - -
1.8861 23400 0.7208 - -
1.8942 23500 0.7355 - -
1.9022 23600 0.7258 - -
1.9103 23700 0.6973 - -
1.9183 23800 0.6996 - -
1.9264 23900 0.7312 - -
1.9345 24000 0.7208 0.6883 0.716
1.9425 24100 0.7205 - -
1.9506 24200 0.693 - -
1.9586 24300 0.7006 - -
1.9667 24400 0.6896 - -
1.9748 24500 0.7096 - -
1.9828 24600 0.6791 - -
1.9909 24700 0.7015 - -
1.9990 24800 0.6954 - -
2.0069 24900 0.6997 - -
2.0150 25000 0.7311 - -
2.0231 25100 0.7274 - -
2.0311 25200 0.6833 - -
2.0392 25300 0.6836 - -
2.0472 25400 0.6748 - -
2.0553 25500 0.6887 - -
2.0634 25600 0.7267 - -
2.0714 25700 0.6713 - -
2.0795 25800 0.7039 - -
2.0875 25900 0.6839 - -
2.0956 26000 0.6937 0.6847 0.714
2.1037 26100 0.717 - -
2.1117 26200 0.6826 - -
2.1198 26300 0.6882 - -
2.1278 26400 0.6679 - -
2.1359 26500 0.6767 - -
2.1440 26600 0.6968 - -
2.1520 26700 0.6834 - -
2.1601 26800 0.6989 - -
2.1681 26900 0.7089 - -
2.1762 27000 0.6979 - -
2.1843 27100 0.6668 - -
2.1923 27200 0.7034 - -
2.2004 27300 0.7103 - -
2.2084 27400 0.7177 - -
2.2165 27500 0.682 - -
2.2246 27600 0.7133 - -
2.2326 27700 0.659 - -
2.2407 27800 0.6839 - -
2.2488 27900 0.6745 - -
2.2568 28000 0.6835 0.6735 0.7195
2.2649 28100 0.6959 - -
2.2729 28200 0.6811 - -
2.2810 28300 0.6625 - -
2.2891 28400 0.6808 - -
2.2971 28500 0.7299 - -
2.3052 28600 0.674 - -
2.3132 28700 0.6916 - -
2.3213 28800 0.7013 - -
2.3294 28900 0.672 - -
2.3374 29000 0.6796 - -
2.3455 29100 0.6951 - -
2.3535 29200 0.6793 - -
2.3616 29300 0.6902 - -
2.3697 29400 0.6705 - -
2.3777 29500 0.6882 - -
2.3858 29600 0.6841 - -
2.3938 29700 0.6607 - -
2.4019 29800 0.6866 - -
2.4100 29900 0.6971 - -
2.4180 30000 0.6784 0.6641 0.728
2.4261 30100 0.6782 - -
2.4341 30200 0.6759 - -
2.4422 30300 0.6506 - -
2.4503 30400 0.6868 - -
2.4583 30500 0.6803 - -
2.4664 30600 0.6937 - -
2.4744 30700 0.669 - -
2.4825 30800 0.6677 - -
2.4906 30900 0.6663 - -
2.4986 31000 0.6725 - -
2.5067 31100 0.6806 - -
2.5148 31200 0.6925 - -
2.5228 31300 0.6667 - -
2.5309 31400 0.6732 - -
2.5389 31500 0.6932 - -
2.5470 31600 0.6646 - -
2.5551 31700 0.6778 - -
2.5631 31800 0.6775 - -
2.5712 31900 0.6651 - -
2.5792 32000 0.6717 0.6563 0.7305
2.5873 32100 0.6827 - -
2.5954 32200 0.6699 - -
2.6034 32300 0.6471 - -
2.6115 32400 0.6856 - -
2.6195 32500 0.6823 - -
2.6276 32600 0.683 - -
2.6357 32700 0.6709 - -
2.6437 32800 0.6748 - -
2.6518 32900 0.6723 - -
2.6598 33000 0.6705 - -
2.6679 33100 0.6993 - -
2.6760 33200 0.6901 - -
2.6840 33300 0.6547 - -
2.6921 33400 0.6689 - -
2.7001 33500 0.6794 - -
2.7082 33600 0.6574 - -
2.7163 33700 0.6763 - -
2.7243 33800 0.6496 - -
2.7324 33900 0.6391 - -
2.7404 34000 0.6946 0.6576 0.7375
2.7485 34100 0.6773 - -
2.7566 34200 0.6622 - -
2.7646 34300 0.6386 - -
2.7727 34400 0.6634 - -
2.7808 34500 0.6769 - -
2.7888 34600 0.6451 - -
2.7969 34700 0.6609 - -
2.8049 34800 0.6595 - -
2.8130 34900 0.6563 - -
2.8211 35000 0.6738 - -
2.8291 35100 0.6726 - -
2.8372 35200 0.6741 - -
2.8452 35300 0.6672 - -
2.8533 35400 0.6432 - -
2.8614 35500 0.6394 - -
2.8694 35600 0.6563 - -
2.8775 35700 0.6834 - -
2.8855 35800 0.6748 - -
2.8936 35900 0.6685 - -
2.9017 36000 0.6783 0.6547 0.7335
2.9097 36100 0.6554 - -
2.9178 36200 0.6597 - -
2.9258 36300 0.6873 - -
2.9339 36400 0.6663 - -
2.9420 36500 0.681 - -
2.9500 36600 0.6686 - -
2.9581 36700 0.6469 - -
2.9661 36800 0.6524 - -
2.9742 36900 0.675 - -
2.9823 37000 0.6413 - -
2.9903 37100 0.6492 - -
2.9984 37200 0.6599 - -
3.0064 37300 0.655 - -
3.0144 37400 0.6593 - -
3.0225 37500 0.6839 - -
3.0305 37600 0.6487 - -
3.0386 37700 0.6631 - -
3.0467 37800 0.6262 - -
3.0547 37900 0.6494 - -
3.0628 38000 0.6912 0.6497 0.739
3.0709 38100 0.6199 - -
3.0789 38200 0.6509 - -
3.0870 38300 0.6371 - -
3.0950 38400 0.6772 - -
3.1031 38500 0.6754 - -
3.1112 38600 0.6421 - -
3.1192 38700 0.6557 - -
3.1273 38800 0.6269 - -
3.1353 38900 0.6163 - -
3.1434 39000 0.6449 - -
3.1515 39100 0.6481 - -
3.1595 39200 0.6641 - -
3.1676 39300 0.6557 - -
3.1756 39400 0.6488 - -
3.1837 39500 0.6214 - -
3.1918 39600 0.643 - -
3.1998 39700 0.6573 - -
3.2079 39800 0.6631 - -
3.2159 39900 0.6389 - -
3.2240 40000 0.6576 0.6511 0.7385
3.2321 40100 0.6448 - -
3.2401 40200 0.6651 - -
3.2482 40300 0.6281 - -
3.2562 40400 0.6485 - -
3.2643 40500 0.6689 - -
3.2724 40600 0.6446 - -
3.2804 40700 0.6552 - -
3.2885 40800 0.6473 - -
3.2966 40900 0.6637 - -
3.3046 41000 0.6421 - -
3.3127 41100 0.6609 - -
3.3207 41200 0.662 - -
3.3288 41300 0.6414 - -
3.3369 41400 0.6361 - -
3.3449 41500 0.6655 - -
3.3530 41600 0.6357 - -
3.3610 41700 0.6619 - -
3.3691 41800 0.64 - -
3.3772 41900 0.6311 - -
3.3852 42000 0.6538 0.6435 0.7425
3.3933 42100 0.6423 - -
3.4013 42200 0.6489 - -
3.4094 42300 0.6542 - -
3.4175 42400 0.6419 - -
3.4255 42500 0.6257 - -
3.4336 42600 0.6447 - -
3.4416 42700 0.6324 - -
3.4497 42800 0.638 - -
3.4578 42900 0.6178 - -
3.4658 43000 0.6675 - -
3.4739 43100 0.6367 - -
3.4819 43200 0.6205 - -
3.4900 43300 0.6202 - -
3.4981 43400 0.6539 - -
3.5061 43500 0.6392 - -
3.5142 43600 0.6571 - -
3.5222 43700 0.6312 - -
3.5303 43800 0.6331 - -
3.5384 43900 0.6556 - -
3.5464 44000 0.6452 0.6390 0.74
3.5545 44100 0.6436 - -
3.5626 44200 0.643 - -
3.5706 44300 0.6291 - -
3.5787 44400 0.6359 - -
3.5867 44500 0.6586 - -
3.5948 44600 0.6384 - -
3.6029 44700 0.6214 - -
3.6109 44800 0.6323 - -
3.6190 44900 0.6443 - -
3.6270 45000 0.6448 - -
3.6351 45100 0.6356 - -
3.6432 45200 0.6376 - -
3.6512 45300 0.6513 - -
3.6593 45400 0.6324 - -
3.6673 45500 0.6524 - -
3.6754 45600 0.6567 - -
3.6835 45700 0.6235 - -
3.6915 45800 0.63 - -
3.6996 45900 0.6507 - -
3.7076 46000 0.6466 0.6439 0.745
3.7157 46100 0.6257 - -
3.7238 46200 0.6212 - -
3.7318 46300 0.6076 - -
3.7399 46400 0.6649 - -
3.7479 46500 0.6491 - -
3.7560 46600 0.6318 - -
3.7641 46700 0.6052 - -
3.7721 46800 0.6208 - -
3.7802 46900 0.6447 - -
3.7882 47000 0.6167 - -
3.7963 47100 0.6173 - -
3.8044 47200 0.6221 - -
3.8124 47300 0.6431 - -
3.8205 47400 0.6457 - -
3.8286 47500 0.64 - -
3.8366 47600 0.6356 - -
3.8447 47700 0.6416 - -
3.8527 47800 0.6013 - -
3.8608 47900 0.6214 - -
3.8689 48000 0.612 0.6361 0.743
3.8769 48100 0.6466 - -
3.8850 48200 0.664 - -
3.8930 48300 0.6388 - -
3.9011 48400 0.6454 - -
3.9092 48500 0.6106 - -
3.9172 48600 0.6276 - -
3.9253 48700 0.6459 - -
3.9333 48800 0.6305 - -
3.9414 48900 0.6416 - -
3.9495 49000 0.6212 - -
3.9575 49100 0.6271 - -
3.9656 49200 0.6263 - -
3.9736 49300 0.6411 - -
3.9817 49400 0.6112 - -
3.9898 49500 0.6307 - -
3.9978 49600 0.6285 - -
4.0058 49700 0.6235 - -
4.0139 49800 0.654 - -
4.0219 49900 0.6584 - -
4.0300 50000 0.6205 0.6335 0.7475
4.0380 50100 0.6266 - -
4.0461 50200 0.6137 - -
4.0542 50300 0.6257 - -
4.0622 50400 0.6747 - -
4.0703 50500 0.5967 - -
4.0783 50600 0.6348 - -
4.0864 50700 0.6164 - -
4.0945 50800 0.6473 - -
4.1025 50900 0.6327 - -
4.1106 51000 0.6203 - -
4.1187 51100 0.6166 - -
4.1267 51200 0.6076 - -
4.1348 51300 0.6003 - -
4.1428 51400 0.5984 - -
4.1509 51500 0.6297 - -
4.1590 51600 0.6253 - -
4.1670 51700 0.6316 - -
4.1751 51800 0.6241 - -
4.1831 51900 0.5981 - -
4.1912 52000 0.6028 0.6336 0.748
4.1993 52100 0.6319 - -
4.2073 52200 0.6506 - -
4.2154 52300 0.6184 - -
4.2234 52400 0.6417 - -
4.2315 52500 0.6024 - -
4.2396 52600 0.6235 - -
4.2476 52700 0.6206 - -
4.2557 52800 0.6199 - -
4.2637 52900 0.64 - -
4.2718 53000 0.6207 - -
4.2799 53100 0.606 - -
4.2879 53200 0.6104 - -
4.2960 53300 0.6567 - -
4.3040 53400 0.5973 - -
4.3121 53500 0.6338 - -
4.3202 53600 0.6345 - -
4.3282 53700 0.5944 - -
4.3363 53800 0.6253 - -
4.3443 53900 0.6291 - -
4.3524 54000 0.604 0.6237 0.753
4.3605 54100 0.6371 - -
4.3685 54200 0.6069 - -
4.3766 54300 0.6133 - -
4.3847 54400 0.6517 - -
4.3927 54500 0.6146 - -
4.4008 54600 0.6089 - -
4.4088 54700 0.6318 - -
4.4169 54800 0.6069 - -
4.4250 54900 0.6071 - -
4.4330 55000 0.6314 - -
4.4411 55100 0.6078 - -
4.4491 55200 0.6027 - -
4.4572 55300 0.6119 - -
4.4653 55400 0.6265 - -
4.4733 55500 0.6163 - -
4.4814 55600 0.6099 - -
4.4894 55700 0.5993 - -
4.4975 55800 0.6053 - -
4.5056 55900 0.6154 - -
4.5136 56000 0.6291 0.6189 0.7555
4.5217 56100 0.5961 - -
4.5297 56200 0.6289 - -
4.5378 56300 0.6202 - -
4.5459 56400 0.6277 - -
4.5539 56500 0.6203 - -
4.5620 56600 0.6074 - -
4.5700 56700 0.6175 - -
4.5781 56800 0.6099 - -
4.5862 56900 0.6188 - -
4.5942 57000 0.6128 - -
4.6023 57100 0.6029 - -
4.6103 57200 0.5943 - -
4.6184 57300 0.6244 - -
4.6265 57400 0.6253 - -
4.6345 57500 0.6168 - -
4.6426 57600 0.6119 - -
4.6507 57700 0.6185 - -
4.6587 57800 0.585 - -
4.6668 57900 0.6305 - -
4.6748 58000 0.6399 0.6217 0.7515
4.6829 58100 0.6045 - -
4.6910 58200 0.6117 - -
4.6990 58300 0.6271 - -
4.7071 58400 0.6071 - -
4.7151 58500 0.6052 - -
4.7232 58600 0.605 - -
4.7313 58700 0.5953 - -
4.7393 58800 0.6107 - -
4.7474 58900 0.6295 - -
4.7554 59000 0.6147 - -
4.7635 59100 0.5798 - -
4.7716 59200 0.5944 - -
4.7796 59300 0.6006 - -
4.7877 59400 0.6015 - -
4.7957 59500 0.6057 - -
4.8038 59600 0.6015 - -
4.8119 59700 0.6036 - -
4.8199 59800 0.6035 - -
4.8280 59900 0.6217 - -
4.8360 60000 0.6006 0.6213 0.7565
4.8441 60100 0.6237 - -
4.8522 60200 0.5874 - -
4.8602 60300 0.5941 - -
4.8683 60400 0.596 - -
4.8764 60500 0.6158 - -
4.8844 60600 0.6376 - -
4.8925 60700 0.6191 - -
4.9005 60800 0.6205 - -
4.9086 60900 0.6061 - -
4.9167 61000 0.6069 - -
4.9247 61100 0.6197 - -
4.9328 61200 0.6216 - -
4.9408 61300 0.6254 - -
4.9489 61400 0.6069 - -
4.9570 61500 0.5936 - -
4.9650 61600 0.6002 - -
4.9731 61700 0.6245 - -
4.9811 61800 0.6166 - -
4.9892 61900 0.5894 - -
4.9973 62000 0.601 0.6200 0.7555

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.2.0
  • Transformers: 4.45.2
  • PyTorch: 2.4.0+cu121
  • Accelerate: 1.0.1
  • Datasets: 3.0.2
  • Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
0
Safetensors
Model size
560M params
Tensor type
F32
·
Inference Examples
Sentence Similarity
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for hotamago/bkai-2024-retrival-e5-finetune-v2

Base model

intfloat/multilingual-e5-large-instruct
Finetuned
(26)
this model

Evaluation results

View on Papers With Code