ensec/Llama3-70B-EnSecAI-Ru-Chat

Model Information

This model was fine-tuned in Russian using publicly available SFT and DPO dataset and achieves superior performance in understanding, generating, and interacting in Russian compared to original Llama 3 70B Instruct.

Benchmarks

Llama3-70B-EnSecAI-Ru-Chat outperforms the original Llama-3-70B-Instruct on the MERA benchmark by 2.4% (57.0 vs 54.6). Moreover, it outperforms all other Russian-language models present in this benchmark.

Category	Benchmark	Metric	MTS AI Chat Medium	GigaChat-Pro	Llama 3 70B Instruct	Llama 3 70B EnSecAI
World Knowledge	CheGeKa	F1 / EM	0.05 / 0.022	0.104 / 0	0.071 / 0	0.305 / 0.231
	ruOpenBookQA	Avg. F1 / acc	0.813 / 0.813	0.873 / 0.872	0.939 / 0.94	0.932 / 0.932
	ruWorldTree	Avg. F1 / acc	0.872 / 0.872	0.939 / 0.939	0.973 / 0.973	0.986 / 0.986
Reasoning	MultiQ	F1-score/EM	0.247 / 0.171	0.369 / 0.247	0.566 / 0.414	0.541 / 0.421
	ruMMLU	acc	0.704	0.816	0.856	0.847
	ruTiE	acc	0.674	0.791	0.8	0.827
	RWSD	acc	0.665	0.585	0.623	0.676
Common Sense	PARus	acc	0.884	0.884	0.918	0.926
Math	MathLogicQA	acc	0.589	0.467	0.581	0.571
	ruModAr	acc	0.949	0.866	0.736	0.708
	ruMultiAr	acc	0.337	0.273	0.349	0.357
	SimpleAr	acc	0.986	0.971	0.999	0.997
Code	ruHumanEval	pass@1 / pass@5 / pass@10	0.023 / 0.113 / 0.226	0.013 / 0.064 / 0.128	0.039 / 0.198 / 0.396	0.048 / 0.243 / 0.487
Average	MERA		0.536	0.537	0.546	0.57

It is particularly worth noting the significant progress on the CheGeKa dataset. Although the data we used for further training did not include examples from this or similar games, we observed more than a 4x increase in the F1 score (0.071 -> 0.305). Additionally, the EM (Exact Match) metric improved from 0 to 0.231. On this dataset, our model significantly outperforms other Russian-language models as well.

We have also significantly reduced the number of switches from Russian to English. In our internal benchmark, the original model switched 32% of the time, while the current model does so only 0.7% of the time.

Example Usage

import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'ensec/Llama3-70B-EnSecAI-Ru-Chat'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()
instruction = "Каковы основные причины начала Второй мировой войны?"
messages = [
    {"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)
terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

Вторая мировая война началась из-за сложного взаимодействия политических, экономических, идеологических и военных факторов. Некоторые из основных причин включают:

1. Агрессивная политика нацистской Германии и фашистской Италии: Обе страны, возглавляемые Адольфом Гитлером и Бенито Муссолини соответственно, хотели расширить свои территории и установить идеологическое господство. Они начали вторгаться в соседние страны и нарушать международные соглашения.

2. Версальский мирный договор: Версальский мирный договор, подписанный после Первой мировой войны, был чрезвычайно строгим по отношению к Германии. Это привело к экономическим трудностям, росту национализма и антипатию к международному сообществу, что в конечном итоге способствовало подъему нацистов.

3. Экономический кризис: Глобальный экономический кризис, известный как Великая депрессия, начавшийся в 1929 году, привел к массовой безработице и экономическим трудностям во многих странах. Это создало благоприятную среду для экстремистских движений и авторитарных режимов.

4. Агрессия Японии: Япония начала расширяться на Дальний Восток, вторгаясь в Маньчжурию, Корею и Китай. Это привело к конфликтам с западными странами, которые пытались поддержать политику не вмешательства.

5. Ослабление Лиги Наций: Лига Наций была международной организацией, созданной после Первой мировой войны для поддержания мира и предотвращения войны. Однако из-за отсутствия военной власти и неэффективности в принятии решений Лига Наций не смогла предотвратить агрессию Германии, Италии и Японии.

6. Политика умиротворения: Многие страны, включая Великобританию и Францию, пытались умиротворить нацистскую Германию, надеясь на то, что Гитлер будет удовлетворен и прекратит агрессию. Однако это только поощряло его к дальнейшим захватам.

7. Идеологические различия: Нацизм, фашизм и коммунизм были идеологиями, которые противостояли либеральной демократии и капитализму. Это привело к идеологическим конфликтам и политическим разногласиям, которые в конечном итоге привели к войне.

Все эти факторы взаимодействовали и усугублялись, что в конечном итоге привело к началу Второй мировой войны.

Citation

If you use this model in your work, please cite it as follows:

@misc {kostyumov_llama70b_ensec_2024,
    author       = { {Vasily Kostyumov, Bulat Nutfullin, Oleg Pilipenko} },
    title        = { Llama3-70B-EnSecAI-Ru-Chat },
    year         = 2024,
    url          = { https://huggingface.co/ensec/Llama3-70B-EnSecAI-Ru-Chat },
    publisher    = { Hugging Face }
}

Contact

For further questions or issues, please reach out at kostyumov@gmail.com or open an issue on the Hugging Face model page.