Korean to English

app.py

@@ -325,11 +325,11 @@ with demo:
                         )
                     with gr.Row():
                         deleted_models_visibility = gr.Checkbox(
-                            value=True, label="👀 삭제/비공개된 모델도 함께 보기", interactive=True
+                            value=True, label="👀 Show gated/private/deleted models", interactive=True
                         )
                 with gr.Column(min_width=320):
                     search_bar = gr.Textbox(
-                        placeholder="🔍 찾고자 하는 모델 명을 입력하세요",
+                        placeholder="🔍 Search for your model and press ENTER...",
                         show_label=False,
                         elem_id="search-bar",
                     )
@@ -447,7 +447,7 @@ with demo:
 
                 with gr.Column():
                     with gr.Accordion(
-                        f"✅ 평가 완료 ({len(finished_eval_queue_df)})",
+                        f"✅ Finished Evaluations ({len(finished_eval_queue_df)})",
                         open=False,
                     ):
                         with gr.Row():
@@ -458,7 +458,7 @@ with demo:
                                 max_rows=5,
                             )
                     with gr.Accordion(
-                        f"🔄 평가 진행 중 ({len(running_eval_queue_df)})",
+                        f"🔄 Running Evaluation Queue ({len(running_eval_queue_df)})",
                         open=False,
                     ):
                         with gr.Row():
@@ -470,7 +470,7 @@ with demo:
                             )
 
                     with gr.Accordion(
-                        f"⏳ 평가 대기 중 ({len(pending_eval_queue_df)})",
+                        f"⏳ Pending Evaluation Queue ({len(pending_eval_queue_df)})",
                         open=False,
                     ):
                         with gr.Row():
@@ -481,7 +481,7 @@ with demo:
                                 max_rows=5,
                             )
             with gr.Row():
-                gr.Markdown("# ✉️✨ 여기에서 모델을 제출해주세요!", elem_classes="markdown-text")
+                gr.Markdown("# ✉️✨ Submit your model here!", elem_classes="markdown-text")
 
             with gr.Row():
                 with gr.Column():
@@ -524,7 +524,7 @@ with demo:
                     )
                     base_model_name_textbox = gr.Textbox(label="Base model (for delta or adapter weights)")
 
-            submit_button = gr.Button("제출하고 평가받기")
+            submit_button = gr.Button("Submit Evalulation!")
             submission_result = gr.Markdown()
             submit_button.click(
                 add_new_eval,
@@ -541,7 +541,7 @@ with demo:
             )
 
         with gr.Row():
-            refresh_button = gr.Button("새로고침")
+            refresh_button = gr.Button("Refresh")
             refresh_button.click(
                 refresh,
                 inputs=[],

src/assets/text_content.py

@@ -1,62 +1,63 @@
 from src.display_models.model_metadata_type import ModelType
 
-TITLE = """<h1 align="center" id="space-title">🚀 Open Ko-LLM Leaderboard</h1>"""
+TITLE = """<h1 align="center" id="space-title">🚀 Open Ko-LLM Leaderboard 🇰🇷</h1>"""
 
 INTRODUCTION_TEXT = f"""
-🚀 Open Ko-LLM Leaderboard는 한국어 초거대 언어모델의 성능을 객관적으로 평가합니다.
+🚀 The Open Ko-LLM Leaderboard 🇰🇷 objectively evaluates the performance of Korean large language model.
 
-"Submit here!" 페이지에서 모델 제출 시 자동으로 평가됩니다. 평가에 사용되는 GPU는 KT의 지원으로 운영됩니다.
-평가에 사용되는 데이터는 전문 지식, 추론 능력, 환각, 상식의 네 가지 요소를 평가하기 위한 데이터셋으로 구성되어 있습니다.
-벤치마크 데이터셋에 대한 더 자세한 정보는 "About" 페이지에서 제공되고 있습니다.
+When you submit a model on the "Submit here!" page, it is automatically evaluated. The GPU used for evaluation is operated with the support of KT.
+The data used for evaluation consists of datasets to assess expertise, inference ability, hallucination, and common sense. 
+The evaluation dataset is exclusively private and only available for evaluation process.
+More detailed information about the benchmark dataset is provided on the “About” page.
 
-업스테이지와 NIA가 공동 주최하며 업스테이지가 운영합니다.
+This leaderboard is co-hosted by Upstage and NIA, and operated by Upstage.
 """
 
 LLM_BENCHMARKS_TEXT = f"""
 # Context
-뛰어난 LLM 모델들이 앞다투어 공개되고 있지만 이는 대부분 영어 중심의, 영어 문화권에 익숙한 모델입니다. 저희는 한국어 리더보드 🚀 Open Ko-LLM을 운영하여 한국어와 한국 문화의 특성을 반영한 모델을 평가하고자 합니다. 이를 통해 한국어 사용자들이 편리하게 리더보드를 이용하고 참여하여 한국의 연구 수준 향상에 기여할 수 있기를 바랍니다. 
+While outstanding LLM models are being released competitively, most of them are centered on English and are familiar with the English cultural sphere. We operate the Korean leaderboard, 🚀 Open Ko-LLM, to evaluate models that reflect the characteristics of the Korean language and Korean culture. Through this, we hope that users can conveniently use the leaderboard, participate, and contribute to the advancement of research in Korean.
 
 ## Icons
 {ModelType.PT.to_str(" : ")} model
 {ModelType.FT.to_str(" : ")} model
 {ModelType.IFT.to_str(" : ")} model
 {ModelType.RL.to_str(" : ")} model
-만약 아이콘이 없다면 아직 모델에 대한 정보가 부족함을 나타냅니다.
-모델에 대한 정보는 issue를 통해 전달해주세요! 🤩
+If there is no icon, it indicates that there is insufficient information about the model.
+Please provide information about the model through an issue! 🤩
 
-🏴‍☠️ : 해당 아이콘은 이 모델이 커뮤니티에 의해 주의 대상으로 선정되었으므로 이용 자제를 바란다는 의미입니다. 아이콘을 클릭 시 해당 모델에 대한 discussion으로 이동합니다.
-(높은 리더보드 순위를 위해 평가셋을 학습에 이용한 모델 등이 주의 대상으로 선정됩니다)
+🏴‍☠️ : This icon indicates that the model has been selected as a subject of caution by the community, implying that users should exercise restraint when using it. Clicking on the icon will take you to a discussion about that model.
+(Models that have used the evaluation set for training to achieve a high leaderboard ranking, among others, are selected as subjects of caution.)
 
 ## How it works
 
-📈 HuggingFace OpenLLM에서 운영하는 4개의 태스크(HellaSwag, MMLU, Arc, Truthful QA)의 데이터를 한국어로 번역한 데이터셋으로 벤치마크를 구성했습니다. 
-- Ko-HellaSwag (업스테이지 제공)
-- Ko-MMLU (업스테이지 제공)
-- Ko-Arc (업스테이지 제공)
-- Ko-Truthful QA (업스테이지 제공)
-LLM 시대에 걸맞는 평가를 위해 전문 지식, 추론, 환각, 상식의 네 가지 요소를 평가하기에 적합한 데이터셋들을 벤치마크로 선정했습니다. 최종 점수는 4개의 평가 데이터에 대한 평균 점수로 환산합니다.
+📈 We have set up a benchmark using datasets translated into Korean from the four tasks (HellaSwag, MMLU, Arc, Truthful QA) operated by HuggingFace OpenLLM.
+- Ko-HellaSwag (provided by Upstage)
+- Ko-MMLU (provided by Upstage)
+- Ko-Arc (provided by Upstage)
+- Ko-Truthful QA (provided by Upstage)
+To provide an evaluation befitting the LLM era, we've selected benchmark datasets suitable for assessing four elements: expertise, inference, hallucination, and common sense. The final score is converted to the average score from the four evaluation datasets.
 
-KT로부터 평가에 사용되는 GPU를 제공받았습니다.
+GPUs are provided by KT for the evaluations.
 
-## 좀 더 자세한 정보
-- 좀 더 자세한 수치 정보는: https://huggingface.co/datasets/open-ko-llm-leaderboard/results
-- 모델의 평가 큐와 평가 상태는: https://huggingface.co/datasets/open-ko-llm-leaderboard/requests
+## Details and Logs
+- Detailed numerical results in the `results` Upstage dataset: https://huggingface.co/datasets/open-ko-llm-leaderboard/results
+- community queries and running status in the `requests` Upstage dataset: https://huggingface.co/datasets/open-ko-llm-leaderboard/requests
 
-## 결과 재현
-평가 결과를 재현하기 위해서는 [이 버전](https://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463)의 데이터셋을 이용하세요. (밑에는 코드 및 평가 환경이라서 일단 skip)
+## Reproducibility
+To reproduce our results, use [this version](https://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463) of dataset.
 
-## 더보기
-질문이 있으시면 [여기](https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/discussions/1)서 FAQ를 확인하실 수 있습니다! 
-또한 커뮤니티, 다른 팀 및 연구소에서 제공하는 멋진 자료를 [여기](https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/discussions/2)에 모아 두었습니다. 추가로 제안 사항이 있으시다면 이 곳을 이용해주세요.
+## More resources
+If you still have questions, you can check our FAQ [here](https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/discussions/1)!
+We also gather cool resources from the community, other teams, and other labs [here](https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/discussions/2)!
 """
 
 EVALUATION_QUEUE_TEXT = f"""
-# 🚀 Open-Ko LLM 리더보드의 평가 큐입니다.
-이곳에 추가된 모델들은 곧 자동적으로 KT의 GPU 위에서 평가될 예정입니다!
+# Evaluation Queue for the 🚀 Open-Ko LLM Leaderboard
+Models added here will be automatically evaluated on the KT GPU cluster.
 
-## <모델 제출 전 확인하면 좋은 것들>
+## <Some good practices before submitting a model>
 
-### 1️⃣ 모델과 토크나이저가 AutoClasses로 불러올 수 있나요?
+### 1️⃣ Make sure you can load your model and tokenizer using AutoClasses
 ```
 from transformers import AutoConfig, AutoModel, AutoTokenizer
 config = AutoConfig.from_pretrained("your model name", revision=revision)
@@ -64,21 +65,21 @@ model = AutoModel.from_pretrained("your model name", revision=revision)
 tokenizer = AutoTokenizer.from_pretrained("your model name", revision=revision)
 ```
 
-만약 이 단계가 실패했다면 에러 메세지를 따라 모델을 디버깅한 후에 제출해주세요. 
-⚠️ 모델이 public 상태여야 합니다!
-⚠️ 만약 모델이 use_remote_code=True여야 한다면 잠시 기다려주세요. 현재로서는 아직 이 옵션을 지원하지 않지만 작동할 수 있도록 하고 있습니다!
+If this step fails, follow the error messages to debug your model before submitting it. It's likely your model has been improperly uploaded.
+⚠️ Make sure your model is public!
+⚠️ If your model needs use_remote_code=True, we do not support this option yet but we are working on adding it, stay posted!
 
-### 2️⃣ 모델의 weight를 safetensors로 바꿨나요?
-safetensors는 weight를 보관하는 새로운 포맷으로, 훨씬 안전하고 빠르게 사용할 수 있습니다. 또한 모델의 parameter 개수를 Extended Viewer에 추가할 수 있습니다
+### 2️⃣ Convert your model weights to [safetensors](https://huggingface.co/docs/safetensors/index)
+It's a new format for storing weights which is safer and faster to load and use. It will also allow us to add the number of parameters of your model to the `Extended Viewer`!
 
-### 3️⃣ 모델이 오픈 라이센스를 따르나요?
-🚀 Open-Ko LLM은 Open LLM을 위한 리더보드로, 많은 사람들이 다양한 모델을 사용하기를 바랍니다
+### 3️⃣ Make sure your model has an open license!
+This is a leaderboard for 🚀 Open-Ko LLMs, and we'd love for as many people as possible to know they can use your model
 
-### 4️⃣ 모델 카드를 작성하셨나요?
-리더보드에 모델에 대한 추가 정보를 업로드할 때 작성하신 모델 카드가 업로드됩니다
+### 4️⃣ Fill up your model card
+When we add extra information about models to the leaderboard, it will be automatically taken from the model card
 
-## 모델이 실패한 경우:
-만약 제출한 모델의 상태가 FAILED가 된다면 이는 모델이 실행 중단되었음을 의미합니다. 먼저 위의 네 단계를 모두 따랐는지 확인해보세요. 모든 단계를 따랐음에도 불구하고 실행 중단되었을 때는 EleutherAIHarness 를 로컬에서 실행할 수 있는지 확인하기 위해 위의 코드를 수정 없이 실행하세요. (태스크 별 예시의 수를 제한하기 위해 —limit 파라미터를 추가할 수 있습니다.)
+## In case of model failure
+If your model is displayed in the `FAILED` category, its execution stopped. Make sure you have followed the above steps first. If everything is done, check you can launch the EleutherAIHarness on your model locally, using the above command without modifications (you can add `--limit` to limit the number of examples per task).
 """
 
 CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"