--- license: llama3 language: - en - ko pipeline_tag: text-generation tags: - saltlux - luxia - meta - llama-3 - pytorch --- # Model Details Saltlux, AI Labs 언어모델팀에서 학습 및 공개한 Ko-Llama3-Luxia-8B 모델은 Meta에서 출시한 Llama-3-8B 모델을 한국어에 특화한 모델입니다.

자체 보유하고 있는 1TB 이상의 한국어 학습 데이터 중, 약 100GB 정도의 데이터를 선별하여 사전학습에 활용하였습니다.

또한 공개된 Llama-3 Tokenizer를 한국어로 확장하고 사전학습에 활용했습니다. - **Meta Llama-3:** Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dialogue use cases and outperform many of the available open source chat models on common industry benchmarks. Further, in developing these models, we took great care to optimize helpfulness and safety. - **License:** Llama3 License [https://llama.meta.com/llama3/license](https://llama.meta.com/llama3/license) ### Intended Use Ko-Llama3-Luxia-8B는 연구용으로 제작되었으며, 다양한 자연어 생성 태스크를 위해 자유롭게 학습 및 활용할 수 있습니다. ### How to Use 해당 모델 카드에는 `Ko-Llama3-Luxia-8B` 모델과 transformers 라이브러리 기반의 예시 코드를 제공합니다. ``` import transformers import torch model_id = "saltlux/Ko-Llama3-Luxia-8B" pipeline = transformers.pipeline( "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto" ) pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.") ``` # Training Details 한국어 특화를 위한 사전학습 데이터는 Saltlux에서 보유한 뉴스, 법률, 특허, 의료, 역사, 사회, 문화, 대화(문어/구어) 등의 도메인으로 구성된 100GB 수준의 코퍼스(~2023년)를 활용하였습니다.
- 현재 제공되는 모델은 0.8 Epoch 학습된 모델입니다.
### Use Device 사전학습은 NVIDIA H100 80GB * 8EA 장비를 활용하여 진행하였습니다. #### Training Hyperparameters
Model Params Context length GQA Learning rate Batch Precision
Ko-Llama3-Luxia-8B 8B 8k yes 1e-5 128 bf16
### Tokenizer Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17,536개를 추가하고 활용하였습니다.
Model Vocab Size
Llama-3 128,256
Ko-Llama3-Luxia-8B 145,792
### Tokenizer Result + Ko
입력 Llama-3 Ko-Llama3-Luxia-8B
요즘 날씨가 너무 오락가락해서 아직도 겨울옷을 못치웠어요.. ['요', '즘', ' 날', '씨', '가', ' 너무', ' 오', '락', '가', '락', '해서', ' 아직', '도', ' 겨', '울', '�', '�', '을', ' 못', '치', '웠', '어요', '..'] ['요즘', ' 날씨', '가', ' 너무', ' 오락', '가락', '해서', ' 아직', '도', ' 겨울', '옷', '을', ' 못', '치', '웠', '어요', '..']
맛있는 밥을 드셨습니까? 맛이 궁금하네요. ['맛', '있는', ' �', '�', '을', ' 드', '셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.'] ['맛', '있는', ' 밥', '을', ' 드셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.']
대법원부터 하급심 판례까지 원하는 판례를 찾는 가장 빠른 방법 - 서면 검색, 요청 판례, 유사 판례, AI 추천, 판례 및 법령 검색. ['대', '법', '원', '부터', ' 하', '급', '심', ' 판', '례', '까지', ' 원', '하는', ' 판', '례', '를', ' 찾', '는', ' 가장', ' 빠', '른', ' 방법', ' -', ' 서', '면', ' 검색', ',', ' 요청', ' 판', '례', ',', ' 유', '사', ' 판', '례', ',', ' AI', ' 추천', ',', ' 판', '례', ' 및', ' 법', '령', ' 검색', '.'] ['대', '법', '원', '부터', ' 하', '급', '심', ' 판례', '까지', ' 원', '하는', ' 판례', '를', ' 찾', '는', ' 가장', ' 빠른', ' 방법', ' -', ' 서면', ' 검색', ',', ' 요청', ' 판례', ',', ' 유사', ' 판례', ',', ' AI', ' 추천', ',', ' 판례', ' 및', ' 법령', ' 검색', '.']
본 발명은 금속판의 다수 부분을 에칭시켜 특정 무늬모양을 형성하는 건축용 금속재 장식판으로 이루어진 것에 특징이 있다. ['본', ' 발', '명', '은', ' 금', '속', '판', '의', ' 다', '수', ' 부분', '을', ' 에', '칭', '시', '켜', ' 특', '정', ' 무', '�', '�', '모', '양', '을', ' 형', '성', '하는', ' 건', '축', '용', ' 금', '속', '재', ' 장', '식', '판', '으로', ' 이루', '어진', ' 것', '에', ' 특', '징', '이', ' 있다', '.'] ['본', ' 발명', '은', ' 금속', '판', '의', ' 다수', ' 부분', '을', ' 에칭', '시', '켜', ' 특정', ' 무늬', '모', '양', '을', ' 형성', '하는', ' 건축', '용', ' 금속', '재', ' 장식', '판', '으로', ' 이루어진', ' 것', '에', ' 특징', '이', ' 있다', '.']
골다공증은 왜 생기는거에요? 그리고 치료하려면 어떻게해야하죠? ['골', '다', '공', '증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치', '료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?'] ['골', '다', '공증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?']
+ En
입력 Llama-3 Ko-Llama3-Luxia-8B
Korean cuisine, hanguk yori, or hansik, has evolved through centuries of social and political change. ['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.'] ['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.']
Son Heung-min is a South Korean professional footballer who plays as a forward for and captains both Premier League club Tottenham Hotspur and the South Korea national team. ['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.'] ['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.']
### Inference Result
Llama-3 Ko-Llama3-Luxia-8B
중국의 전통적인 의복을 현대적으로 재해석한 패션 브랜드, ‘이브라힘’의 창립자이자 디자이너인 이브라힘(이브라힘 알리)씨와 인터뷰를 진행했습니다. 그는 중국의 전통적인 의복에 대한 애정을 가지고 있으며, 이를 현대적으로 재해석하여 세계 각국에서 사랑받고 있는 브랜드를 운영하고 있습니다.\nIbrahim is a fashion brand that reinterprets traditional Chinese clothing in a modern way. Ibrahim (Ibrahim Ali), the founder and designer of Ibrahim, has an affection for traditional Chinese clothing and operates a brand that is loved around the world by modernizing it.\nIbrahim is a fashion brand that reinterprets traditional Chinese clothing in a modern way. <이하 생략> 중국의 전통적인 교육은 유교의 영향을 받았다.\n유교는 인간이 사회적 동물이라는 것을 강조한다.\n인간은 혼자 살아갈 수 없으며, 다른 사람과 더불어 살아야 한다.\n따라서 인간관계를 잘 맺고 유지하는 것이 중요하다.\n유교에서는 인간관계를 맺고 유지하기 위해서는 예절을 지켜야 한다고 가르친다.\n예절은 인간관계에서 지켜야 할 도리와 행동 규범이다. 만약 예절을 지키지 않으면 인간관계가 깨지게 되고, 결국 사회생활에 어려움을 겪게 된다.\n따라서 유교에서는 예절을 배우는 것을 매우 중요하게 생각했다.\n\n2. 중국의 전통적인 교육의 특징\n\n중국 전통교육의 특징은 다음과 같습니다.\n\n* 유교적 가치관: 중국 전통교육은 유교적 가치관을 바탕으로 합니다. 유교적 가치관은 인간이 사회적 동물이며, 다른 사람과 더불어 살아야 한다는 것을 강조합니다. 또한, 유교적 가치관은 인간관계를 잘 맺고 유지하기 위해서는 예절을 지켜야 한다고 가르칩니다.\n* 인성교육: <이하 생략>
한국의 대표적인 술인 소주와 맥주의 생산과정과 특성에 관한 연구\nA Study on the Production Process and Characteristics of Korean Soju and Beer\nThe purpose of this study was to investigate the production process and characteristics of soju and beer. The results are as follows: 1. The raw materials used for making soju were rice, wheat, corn, barley, sweet potato, and buckwheat. The main ingredients in soju were alcohol, water, sugar, and flavoring agents. The main flavoring agents were glycerin, caramel color, and artificial flavors. <이하 생략> 한국의 대표적인 술이 막걸리인데, 막걸리는 탁주라고도 한다. 막걸리의 유래는 삼국시대까지 거슬러 올라간다. 삼국사기에는 고구려의 왕족들이 술을 빚어 마시고, 신라에서는 왕과 귀족들이 술을 빚어 마셨다는 기록이 있다.\n막걸리란 말은 조선 후기에 등장한다. 18세기 후반부터 19세기 초반에 걸쳐 쓰여진 문헌에서 ‘막걸리’라는 말이 처음으로 나타난다. 당시에는 ‘막걸리’가 아니라 ‘막걸리’로 표기했다. ‘막걸리’는 20세기에 들어서야 쓰이게 된다.\n막걸리는 쌀을 주원료로 하고 누룩과 물을 섞어서 발효시켜 만든다. 막걸리를 만드는 과정은 크게 세 단계로 나뉜다. 먼저 쌀을 씻어 물에 담가 두었다가 체에 밭쳐 물기를 뺀다. 그리고 누룩가루를 넣고 고루 섞는다. 마지막으로 항아리에 담아서 발효시키면 막걸리가 완성된다.\n막걸리는 우리나라에서 가장 오래된 술이다. 막걸리는 쌀을 주원료로 하기 때문에 영양가가 높고 소화가 잘된다. 또한 막걸리는 알코올 도수가 낮아 부담 없이 마실 수 있다. <이하 생략>
한국의 전통의상인 한복과 일본의 전통의상인 요로카미는 모두 5대륙의 문화를 수용하고, 각기 다른 지역의 특징을 반영한 의상을 갖추고 있다. 이러한 의상의 특징은 각각의 국가에서 발전해 온 역사와 문화에 기초한다. 한편, 한국의 한복과 일본의 요로카미는 서로 비슷한 형태를 가지고 있지만, 그 의미는 다르다. 한복은 한국인의 정체성을 나타내며, 요로카미는 일본인의 정체성을 나타낸다. 따라서 이 두 가지 의상은 서로 다른 문화적 배경을 가진 사람들의 정체성 표현에 사용된다.\nThe traditional costumes of Korea and Japan are hanbok and yorokami respectively. Both have been influenced by the cultures of other countries and reflect the characteristics of their respective regions. The distinctive features of these costumes are based on the history and culture of each country. However, although hanbok and yorokami share similar forms, they have different meanings. Hanbok represents Korean identity while yorokami represents Japanese identity. <이하 생략> 한국의 전통의상인 한복은 한국의 문화와 역사를 고스란히 담고 있는 소중한 문화유산이다. 하지만 최근 들어 한복에 대한 관심이 줄어들면서, 한복을 입는 사람도 점점 줄어들고 있다. 이에 따라 한복의 아름다움과 가치를 알리고, 한복을 입는 것을 장려하기 위한 다양한 노력이 필요하다.\n\n첫째, 한복의 아름다움과 가치를 알리기 위해서는 한복의 역사와 문화적 의미를 교육하는 것이 중요하다. 한복은 한국인의 정체성을 상징하는 의복으로, 오랜 세월 동안 우리 민족의 삶 속에서 중요한 역할을 해왔다. 따라서 한복의 역사와 문화적 의미를 이해하면, 한복의 아름다움과 가치를 더욱 잘 느낄 수 있을 것이다.\n\n둘째, 한복을 입는 것을 장려하기 위해서는 한복을 입을 수 있는 기회를 제공하고, 한복을 입는 것을 편리하게 만드는 것이 중요하다. <이하 생략>
### Citation instructions **Ko-Llama3-Luxia-8B** ``` @article{kollama3luxiamodelcard, title={Ko Llama 3 Luxia Model Card}, author={AILabs@Saltux}, year={2024}, url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md} } ``` **Original Llama-3** ``` @article{llama3modelcard, title={Llama 3 Model Card}, author={AI@Meta}, year={2024}, url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md} } ```