renillhuang
commited on
Commit
โข
73bbf67
1
Parent(s):
aceb81e
Update README_ko.md
Browse files- README_ko.md +356 -0
README_ko.md
CHANGED
@@ -0,0 +1,356 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
language:
|
3 |
+
- en
|
4 |
+
- zh
|
5 |
+
- ja
|
6 |
+
- ko
|
7 |
+
metrics:
|
8 |
+
- accuracy
|
9 |
+
pipeline_tag: text-generation
|
10 |
+
tags:
|
11 |
+
- code
|
12 |
+
- model
|
13 |
+
- llm
|
14 |
+
---
|
15 |
+
|
16 |
+
<!-- markdownlint-disable first-line-h1 -->
|
17 |
+
<!-- markdownlint-disable html -->
|
18 |
+
<div align="center">
|
19 |
+
<img src="./assets/imgs/orion_start.PNG" alt="logo" width="30%" />
|
20 |
+
</div>
|
21 |
+
|
22 |
+
<div align="center">
|
23 |
+
<h1>
|
24 |
+
Orion-14B
|
25 |
+
</h1>
|
26 |
+
</div>
|
27 |
+
|
28 |
+
<div align="center">
|
29 |
+
|
30 |
+
<div align="center">
|
31 |
+
<b>๐ฐ๐ทํ๊ตญ์ด</b> | <a href="./README.md">๐่ฑ่ช</a> | <a href="./README_zh.md">๐จ๐ณไธญๆ</a> | <a href="./README_ja.md">๐ฏ๐ตๆฅๆฌ่ช</a>
|
32 |
+
</div>
|
33 |
+
|
34 |
+
<h4 align="center">
|
35 |
+
<p>
|
36 |
+
๐ค <a href="https://huggingface.co/OrionStarAI" target="_blank">HuggingFaceํํ์ด์ง</a> | ๐ค <a href="https://modelscope.cn/organization/OrionStarAI" target="_blank">ModelScopeํํ์ด์ง</a><br>๐ฌ <a href="https://huggingface.co/spaces/OrionStarAI/Orion-14B-App-Demo" target="_blank">HuggingFace์จ๋ผ์ธ ์์ฉ</a> | ๐ซ <a href="https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary" target="_blank">ModelScopeๅจ็บฟ่ฏ็จ</a><br>๐บ <a href="https://github.com/OrionStarAI/Orion" target="_blank">GitHub</a><br>๐ <a href="https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf" target="_blank">๊ธฐ์ ๋ฆฌํฌํธ</a>
|
37 |
+
<p>
|
38 |
+
</h4>
|
39 |
+
|
40 |
+
</div>
|
41 |
+
|
42 |
+
|
43 |
+
|
44 |
+
# ๋ชฉ๋ก
|
45 |
+
|
46 |
+
-[ ๐ ๋ชจํ ์๊ฐ] (#model-introduction)
|
47 |
+
-[๐ ๋ค์ด๋ก๋ ๊ฒฝ๋ก] (#model-download)
|
48 |
+
-[๐ ํ๊ฐ๊ฒฐ๊ณผ] (#model-benchmark)
|
49 |
+
-[๐ ๋ชจํ ์ถ๋ฆฌ] (#model-inference)
|
50 |
+
-[๐ ์ฑ๋ช
ํฉ์] (#declarations-license)
|
51 |
+
-[๐ฅ ๊ธฐ์
์๊ฐ] (#company-introduction)
|
52 |
+
|
53 |
+
|
54 |
+
<a name="model-introduction"></a><br>
|
55 |
+
# 1. ๋ชจ๋ธ์๊ฒ
|
56 |
+
|
57 |
+
|
58 |
+
-Orion-14B-Base๋ 2.5์กฐ ํ ํฐ์ ๋ค์ํ ๋ฐ์ดํฐ ์งํฉ์ผ๋ก ํ๋ จ๋ 140์ต ๊ฐ์ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค์ค ์ธ์ด ๋ชจ๋ธ์ด๋ค. ์ค๊ตญ์ด, ์์ด, ์ผ๋ณธ์ด, ํ๊ตญ์ด ๋ฐ ๊ธฐํ ์ธ์ด๋ฅผ ํฌํจํ๋ค.๋ค์ค ์ธ์ด ํ๊ฒฝ์์ ์ผ๋ จ์ ์
๋ฌด์์ ํ์ํ ์ฑ๋ฅ์ ๋ณด์ธ๋ค. Orion-14B ์๋ฆฌ์ฆ์ ๋ชจ๋ธ๋ค์ ์ฃผ์ ๊ณต๊ฐ ๊ธฐ์ค ์ธก์ ์์ ์ฐ์ํ ์ฑ์ ์ ๊ฑฐ๋์์ผ๋ฉฐ ์ฌ๋ฌ๊ฐ์ง ์งํ๊ฐ ๋์ผํ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค๋ฅธ ๋ชจ๋ธ๋ค์ ํ์ ํ ์ด์ํ๋ค. ๊ตฌ์ฒด์ ์ธ ๊ธฐ์ ๋ํ
์ผ์ [๊ธฐ์ ๋ณด๊ณ ์]๋ฅผ ์ฐธ๊ณ ํ์ธ์.
|
59 |
+
(https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf)ใ
|
60 |
+
|
61 |
+
- Orion-14B์๋ฆฌ์ฆ ๋ํ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ด ์๋ค.
|
62 |
+
- ๋ฒ ์ด์ค20B ํ๋ผ๋ฉํฐ ๋ ๋ฒจ์ธ ๋ํ ๋ชจ๋ธ์ ์ข
ํฉ์ ์ธ ํ๊ฐ ๊ฒฐ๊ณผ๊ฐ ์ฐ์ํ๋ค
|
63 |
+
- ๋ค๊ตญ์ด ๋ฅ๋ ฅ์ด ๋ฐ์ด๋๊ณ ์ผ๋ณธ์ด์ ํ๊ตญ์ด ํ
์คํธ ์ธํธ์์ ํ์ ํ ์์ ๋ค
|
64 |
+
- ๋ฏธ์ธ์กฐ์ ๋ชจ๋ธ์ ์ ์์ฑ์ด ๊ฐํ๋ฉฐ ์ธ์ ํ์์ ๋ธ๋ผ์ธ๋ ํ
์คํธ์์ ํ์ฝ์ด ๋๋๋ฌ์ง๋ค
|
65 |
+
- ๊ธด ์ปจํ
์คํธ ๋ฒ์ ์ ์ต๋ 320k๊น์ง ์ง์ํ๋ 200k ํ ํฐ์ ๋ฐ์ด๋ ๊ธด ํ
์คํธ๋ฅผ ์ง์งํ๋ค
|
66 |
+
- ์ ๋ํ ๋ฒ์ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70% ์ค์ด๊ณ ์ถ๋ก ์๋๋ฅผ 30% ๋์ด๋ฉฐ ์ฑ๋ฅ ์์ค์ 1% ๋ฏธ๋งํ๋ค
|
67 |
+
<table style="border-collapse: collapse; width: 100%;">
|
68 |
+
<tr>
|
69 |
+
<td style="border: none; padding: 10px; box-sizing: border-box;">
|
70 |
+
<img src="./assets/imgs/opencompass_en.png" alt="opencompass" style="width: 100%; height: auto;">
|
71 |
+
</td>
|
72 |
+
<td style="border: none; padding: 10px; box-sizing: border-box;">
|
73 |
+
<img src="./assets/imgs/model_cap_en.png" alt="modelcap" style="width: 100%; height: auto;">
|
74 |
+
</td>
|
75 |
+
</tr>
|
76 |
+
</table>
|
77 |
+
|
78 |
+
- ๊ตฌ์ฒด์ ์ผ๋ก ๋งํ๋ฉด Orion-14B์๋ฆฌ์ฆ ๋ํ ์ธ์ด ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ์ ํฌํจํ๋ค:
|
79 |
+
- **Orion-14B-Base:** 2.5์ต ํ ์ผ์ค ๋ค์ํ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ 140์ต ํ๋ผ๋ฉํฐ ๊ท๋ชจ์ ๋ค์ธ์ด ๊ธฐ๋ฐ ๋ชจ๋ธ.
|
80 |
+
- **Orion-14B-Chat:** ๊ณ ํ๋ฆฌํฐ ์ฝํผ์ค ๋ฏธ์ธ์กฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํ ๋ํํ ๋ชจ๋ธ. ๋ํ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ๋ฅผ ์ํด ๋ ๋์ ์ฌ์ฉ์ ์ธํฐ๋์
๊ฒฝํ์ ์ ๊ณตํ๋๋ก ํ๋ค.
|
81 |
+
- **Orion-14B-LongChat:** 200k ํ ํฐ ๊ธธ์ด์ ํจ๊ณผ์ ์ด๋ฉฐ ์ต๋ 320k๊น์ง ์ง์ํ๋ฉฐ ๊ธด ํ
์คํธ ํ๊ฐ ์ธํธ์์ ๋
์ ๋ชจ๋ธ๊ณผ ๋น๊ตํ ์ ์๋ค.
|
82 |
+
- **Orion-14B-Chat-RAG:** ๋ง์ถฐ ์ ์ ๋ ๊ฒ์ ํฅ์ ์์ฑ ๋ฐ์ดํฐ ์ธํธ์์ ๋ฏธ์ธ์กฐ์ ํ์ฌ ๊ฒ์ ํฅ์ ์์ฑ ์์
์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ์ ๊ณตํ ์ฑํ
๋ชจ๋ธ.
|
83 |
+
- **Orion-14B-Chat-Plugin:** ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์
์ ๋ง์ถฐ ์ ์ ๋ ์ฑํ
๋ชจ๋ธ. ์์ด์ ํธ์ ๊ด๋ จ๋ ์ํฉ์ ์์ฃผ ์ ์ ์ฉ๋์ด ๋ํ ์ธ์ด ๋ชจ๋ธ์ด ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์คํ
์ ์ญํ ์ ํ๋ค.
|
84 |
+
- **Orion-14B-Base-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ฒ ์ด์ค ๋ชจ๋ธ. ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70%๋ฅผ ์ค์ด๋ฉฐ ์ถ๋ฆฌ ์๋๋ฅผ 30% ๋์ฌ 1%์ ์ต์ํ์ ์ฑ๋ฅ ์์ค๋ง ๊ฐ์ ธ์๋ค.
|
85 |
+
- **Orion-14B-Chat-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ํ ๋ชจ๋ธ.
|
86 |
+
|
87 |
+
|
88 |
+
<a name="model-download"></a><br>
|
89 |
+
# 2. ๋ค์ด๋ก๋ ๊ฒฝ๋ก
|
90 |
+
|
91 |
+
๋ฐํ๋ ๋ชจ๋ธ ๋ฐ ๋ค์ด๋ก๋ ๋งํฌ๋ ๋ค์ ํ๋ฅผ ์ฐธ์กฐํ์ธ์:
|
92 |
+
|
93 |
+
| ๋ชจ๋ธ ๋ช
์นญ | HuggingFace๋ค์ด๋ก๋ ๋งํฌ | ModelScope๋ค์ด๋ก๋ ๋งํฌ |
|
94 |
+
|---------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------|
|
95 |
+
| โพ ๋ฒ ์ด์ค ๋ชจ๋ธ | [Orion-14B-Base](https://huggingface.co/OrionStarAI/Orion-14B-Base) | [Orion-14B-Base](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base/summary) |
|
96 |
+
| ๐ ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat](https://huggingface.co/OrionStarAI/Orion-14B-Chat) | [Orion-14B-Chat](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat/summary) |
|
97 |
+
| ๐ ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธ | [Orion-14B-LongChat](https://huggingface.co/OrionStarAI/Orion-14B-LongChat) | [Orion-14B-LongChat](https://modelscope.cn/models/OrionStarAI/Orion-14B-LongChat/summary) |
|
98 |
+
| ๐ ๊ฒ์ ํฅ์ ๋ชจ๋ธ | [Orion-14B-Chat-RAG](https://huggingface.co/OrionStarAI/Orion-14B-Chat-RAG) | [Orion-14B-Chat-RAG](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-RAG/summary) |
|
99 |
+
| ๐ ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธ | [Orion-14B-Chat-Plugin](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Plugin) | [Orion-14B-Chat-Plugin](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Plugin/summary)|
|
100 |
+
| ๐ผ ๋ฒ ์ด์คInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Base-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Base-Int4) | [Orion-14B-Base-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base-Int4/summary) |
|
101 |
+
| ๐ฆ ๋ํInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Int4) | [Orion-14B-Chat-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Int4/summary) |
|
102 |
+
|
103 |
+
|
104 |
+
<a name="model-benchmark"></a><br>
|
105 |
+
# 3. ํ๊ฐ ๊ฒฐ๊ณผ
|
106 |
+
|
107 |
+
## 3.1. ๋ฒ ์ด์ค ๋ชจ๋ธOrion-14B-Baseํ๊ฐ
|
108 |
+
|
109 |
+
### 3.1.1. ์ ๋ฌธ ์ง์ ๋ฐ ์ํ๋ฌธ์ ํ๊ฐ ๊ฒฐ๊ณผ
|
110 |
+
| ๋ชจ๋ธ ๋ช
์นญ | C-Eval | CMMLU | MMLU | AGIEval | Gaokao | BBH |
|
111 |
+
|--------------------|----------|----------|----------|----------|----------|----------|
|
112 |
+
| LLaMA2-13B | 41.4 | 38.4 | 55.0 | 30.9 | 18.2 | 45.6 |
|
113 |
+
| Skywork-13B | 59.1 | 61.4 | 62.7 | 43.6 | 56.1 | 48.3 |
|
114 |
+
| Baichuan2-13B | 59.0 | 61.3 | 59.5 | 37.4 | 45.6 | 49.0 |
|
115 |
+
| QWEN-14B | 71.7 | 70.2 | 67.9 | 51.9 | **62.5** | 53.7 |
|
116 |
+
| InternLM-20B | 58.8 | 59.0 | 62.1 | 44.6 | 45.5 | 52.5 |
|
117 |
+
| **Orion-14B-Base** | **72.9** | **70.6** | **69.9** | **54.7** | 62.1 | **56.5** |
|
118 |
+
|
119 |
+
### 3.1.2. ์ดํด ๋ฐ ํต์ ํ๊ฐ ๊ฒฐ๊ณผ
|
120 |
+
| ๋ชจ๋ธ ๋ช
์นญ |RACE-middle|RACE-high| HellaSwag| PIQA | Lambada | WSC |
|
121 |
+
|--------------------|----------|----------|----------|----------|----------|----------|
|
122 |
+
| LLaMA 2-13B | 63.0 | 58.9 | 77.5 | 79.8 | 76.5 | 66.3 |
|
123 |
+
| Skywork-13B | 87.6 | 84.1 | 73.7 | 78.3 | 71.8 | 66.3 |
|
124 |
+
| Baichuan 2-13B | 68.9 | 67.2 | 70.8 | 78.1 | 74.1 | 66.3 |
|
125 |
+
| QWEN-14B | 93.0 | 90.3 | **80.2** | 79.8 | 71.4 | 66.3 |
|
126 |
+
| InternLM-20B | 86.4 | 83.3 | 78.1 | **80.3** | 71.8 | 68.3 |
|
127 |
+
| **Orion-14B-Base** | **93.2** | **91.3** | 78.5 | 79.5 | **78.8** | **70.2** |
|
128 |
+
|
129 |
+
### 3.1.3. OpenCompassํ๊ฐ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ
|
130 |
+
| ๋ชจ๋ธ ๋ช
์นญ | Average | Examination | Language | Knowledge | Understanding | Reasoning |
|
131 |
+
|------------------|----------|----------|----------|----------|----------|----------|
|
132 |
+
| LLaMA 2-13B | 47.3 | 45.2 | 47.0 | 58.3 | 50.9 | 43.6 |
|
133 |
+
| Skywork-13B | 53.6 | 61.1 | 51.3 | 52.7 | 64.5 | 45.2 |
|
134 |
+
| Baichuan 2-13B | 49.4 | 51.8 | 47.5 | 48.9 | 58.1 | 44.2 |
|
135 |
+
| QWEN-14B | 62.4 | 71.3 | 52.67 | 56.1 | 68.8 | 60.1 |
|
136 |
+
| InternLM-20B | 59.4 | 62.5 | 55.0 | **60.1** | 67.3 | 54.9 |
|
137 |
+
|**Orion-14B-Base**| **64.3** | **71.4** | **55.0** | 60.0 | **71.9** | **61.6** |
|
138 |
+
|
139 |
+
### 3.1.4. ์ผ๋ณธ์ด ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ
|
140 |
+
| ๋ชจ๋ธ ๋ช
์นญ |**Average**| JCQA | JNLI | MARC | JSQD | JQK | XLS | XWN | MGSM |
|
141 |
+
|--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------|
|
142 |
+
| PLaMo-13B | 52.3 | 56.7 | 42.8 | 95.8 | 70.6 | 71.0 | 8.70 | 70.5 | 2.40 |
|
143 |
+
| WebLab-10B | 50.7 | 66.6 | 53.7 | 82.1 | 62.9 | 56.2 | 10.0 | 72.0 | 2.40 |
|
144 |
+
| ELYZA-jp-7B | 48.8 | 71.7 | 25.3 | 86.6 | 70.8 | 64.1 | 2.50 | 62.1 | 7.20 |
|
145 |
+
| StableLM-jp-7B | 51.1 | 33.4 | 43.3 | **96.7** | 70.6 | 78.1 | 10.7 | 72.8 | 2.80 |
|
146 |
+
| LLaMA 2-13B | 46.3 | 75.0 | 47.6 | 38.8 | 76.1 | 67.7 | 18.1 | 63.2 | 10.4 |
|
147 |
+
| Baichuan 2-13B | 57.1 | 73.7 | 31.3 | 91.6 | 80.5 | 63.3 | 18.6 | 72.2 | 25.2 |
|
148 |
+
| QWEN-14B | 65.8 | 85.9 | 60.7 | 97.0 | 83.3 | 71.8 | 18.8 | 70.6 | 38.0 |
|
149 |
+
| Yi-34B | 67.1 | 83.8 | 61.2 | 95.2 | **86.1** | 78.5 | **27.2** | 69.2 | 35.2 |
|
150 |
+
| **Orion-14B-Base** | **69.1** | **88.2** | **75.8** | 94.1 | 75.7 | **85.1** | 17.3 | **78.8** | **38.0** |
|
151 |
+
|
152 |
+
### 3.1.5. ํ๊ตญ์ด ํ
์คํธ ์ธํธn-shotํ๊ฐ ๊ฒฐ๊ณผ
|
153 |
+
| ๋ชจ๋ธ ๋ช
์นญ | **Average**<br>n=0 n=5 | HellaSwag<br>n=0 n=5 | COPA<br> n=0 n=5 | BooIQ<br>n=0 n=5 | SentiNeg<br>n=0 n=5|
|
154 |
+
|------------------|------------------------------|------------------------------|------------------------------|------------------------------|------------------------------|
|
155 |
+
| KoGPT | 53.0 70.1 | 55.9 58.3 | 73.5 72.9 | 45.1 59.8 | 37.5 89.4 |
|
156 |
+
| Polyglot-ko-13B | 69.6 73.7 |**59.5** **63.1**|**79.4** **81.1**| 48.2 60.4 | 91.2 90.2 |
|
157 |
+
| LLaMA 2-13B | 46.7 63.7 | 41.3 44.0 | 59.3 63.8 | 34.9 73.8 | 51.5 73.4 |
|
158 |
+
| Baichuan 2-13B | 52.1 58.7 | 39.2 39.6 | 60.6 60.6 | 58.4 61.5 | 50.3 72.9 |
|
159 |
+
| QWEN-14B | 53.8 73.7 | 45.3 46.8 | 64.9 68.9 | 33.4 83.5 | 71.5 95.7 |
|
160 |
+
| Yi-34B | 54.2 72.1 | 44.6 44.7 | 58.0 60.6 | 65.9 90.2 | 48.3 92.9 |
|
161 |
+
|**Orion-14B-Base**|**74.5** **79.6**| 47.0 49.6 | 77.7 79.4 |**81.6** **90.7**|**92.4** **98.7**|
|
162 |
+
|
163 |
+
### 3.1.6. ๋ค๊ตญ์ด ํ๊ฐ ๊ฒฐ๊ณผ
|
164 |
+
| ๋ชจ๋ธ ๋ช
์นญ | Train Lang | Japanese | Korean | Chinese | English |
|
165 |
+
|--------------------|------------|----------|----------|----------|----------|
|
166 |
+
| PLaMo-13B | En,Jp | 52.3 | * | * | * |
|
167 |
+
| Weblab-10B | En,Jp | 50.7 | * | * | * |
|
168 |
+
| ELYZA-jp-7B | En,Jp | 48.8 | * | * | * |
|
169 |
+
| StableLM-jp-7B | En,Jp | 51.1 | * | * | * |
|
170 |
+
| KoGPT-6B | En,Ko | * | 70.1 | * | * |
|
171 |
+
| Polyglot-ko-13B | En,Ko | * | 70.7 | * | * |
|
172 |
+
| Baichuan2-13B | Multi | 57.1 | 58.7 | 50.8 | 57.1 |
|
173 |
+
| Qwen-14B | Multi | 65.8 | 73.7 | 64.5 | 65.4 |
|
174 |
+
| Llama2-13B | Multi | 46.3 | 63.7 | 41.4 | 55.3 |
|
175 |
+
| Yi-34B | Multi | 67.1 | 72.2 | 58.7 | **68.8** |
|
176 |
+
| **Orion-14B-Base** | Multi | **69.1** | **79.5** | **67.9** | 67.3 |
|
177 |
+
|
178 |
+
## 3.2. ๋ํ ๋ชจ๋ธOrion-14B-Chatํ๊ฐ
|
179 |
+
### 3.2.1. ๋ํ ๋ชจ๋ธMTBench์ฃผ๊ด์ ํ๊ฐ
|
180 |
+
| ๋ชจ๋ธ ๋ช
์นญ | 1๋ผ์ด๋ | 2๋ผ์ด๋ | **ํ๊ท ** |
|
181 |
+
|----------------------|----------|----------|----------|
|
182 |
+
| Baichuan2-13B-Chat | 7.05 | 6.47 | 6.76 |
|
183 |
+
| Qwen-14B-Chat | 7.30 | 6.62 | 6.96 |
|
184 |
+
| Llama2-13B-Chat | 7.10 | 6.20 | 6.65 |
|
185 |
+
| InternLM-20B-Chat | 7.03 | 5.93 | 6.48 |
|
186 |
+
| **Orion-14B-Chat** | **7.68** | **7.07** | **7.37** |
|
187 |
+
|
188 |
+
\*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค
|
189 |
+
|
190 |
+
### 3.2.2. ๋ํ ๋ชจ๋ธAlignBench์ฃผ๊ด์ ํ๊ฐ
|
191 |
+
| ๋ชจ๋ธ ๋ช
์นญ | ์ํ ๋ฅ๋ ฅ | ๋
ผ๋ฆฌ์ ์ถ๋ฆฌ | ๊ธฐ๋ณธ ๋ฅ๋ ฅ | ์ค๊ตญ์ด ์ดํด | ์ข
ํฉ์ ๋ฌธ๋ต | ๊ธ์ฐ๊ธฐ ๋ฅ๋ ฅ | ๋กค ํ๋ ์ด | ์ ๋ฌธ ์ง์ | **ํ๊ท ** |
|
192 |
+
|--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------|
|
193 |
+
| Baichuan2-13B-Chat | 3.76 | 4.07 | 6.22 | 6.05 | 7.11 | 6.97 | 6.75 | 6.43 | 5.25 |
|
194 |
+
| Qwen-14B-Chat | **4.91** | **4.71** | **6.90** | 6.36 | 6.74 | 6.64 | 6.59 | 6.56 | **5.72** |
|
195 |
+
| Llama2-13B-Chat | 3.05 | 3.79 | 5.43 | 4.40 | 6.76 | 6.63 | 6.99 | 5.65 | 4.70 |
|
196 |
+
| InternLM-20B-Chat | 3.39 | 3.92 | 5.96 | 5.50 | **7.18** | 6.19 | 6.49 | 6.22 | 4.96 |
|
197 |
+
| **Orion-14B-Chat** | 4.00 | 4.24 | 6.18 | **6.57** | 7.16 | **7.36** | **7.16** | **6.99** | 5.51 |
|
198 |
+
|
199 |
+
\*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค
|
200 |
+
|
201 |
+
## 3.3. ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธOrion-14B-LongChatํ๊ฐ
|
202 |
+
### 3.3.1. ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธLongBenchํ๊ฐ
|
203 |
+
| ๋ชจ๋ธ ๋ช
์นญ | NarrativeQA| MultiFieldQA-en| MultiFieldQA-zh | DuReader | QMSum | VCSUM | TREC | TriviaQA | LSHT | RepoBench-P |
|
204 |
+
|--------------------------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|
|
205 |
+
| GPT-3.5-Turbo-16k | **23.60** | **52.30** | **61.20** | 28.70 | 23.40 | **16.00** | 68.00 | **91.40** | 29.20 | 53.60 |
|
206 |
+
| LongChat-v1.5-7B-32k | 16.90 | 41.40 | 29.10 | 19.50 | 22.70 | 9.90 | 63.50 | 82.30 | 23.20 | 55.30 |
|
207 |
+
| Vicuna-v1.5-7B-16k | 19.40 | 38.50 | 43.00 | 19.30 | 22.80 | 15.10 | 71.50 | 86.20 | 28.80 | 43.50 |
|
208 |
+
| Yi-6B-200K | 14.11 | 36.74 | 22.68 | 14.01 | 20.44 | 8.08 | 72.00 | 86.61 | 38.00 | **63.29** |
|
209 |
+
| Orion-14B-LongChat | 19.47 | 48.11 | 55.84 | **37.02** | **24.87** | 15.44 | **77.00** | 89.12 | **45.50** | 54.31 |
|
210 |
+
|
211 |
+
## 3.4. ๊ฒ์ ํฅ์ ๋ชจ๋ธOrion-14B-Chat-RAGํ๊ฐ
|
212 |
+
### 3.4.1. ์๊ธฐ ๋ง๋ ๊ฒ์ ํฅ์ ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ
|
213 |
+
|๋ชจ๋ธ ๋ช
์นญ|์๋ต ํจ๊ณผ(ํค์๋)|*์๋ต ํจ๊ณผ(์ฃผ๊ด์ ์ ์)|์ธ์ฉ ๋ฅ๋ ฅ|๊ธฐ๋ณธ ๋ ๋งก๋ ๋ฅ๋ ฅ|*AutoQA|*๋ฐ์ดํฐ ์ถ์ถ|
|
214 |
+
|---------------------|------|------|------|------|------|------|
|
215 |
+
| Baichuan2-13B-Chat | 85 | 76 | 1 | 0 | 69 | 51 |
|
216 |
+
| Qwen-14B-Chat | 79 | 77 | 75 | 47 | 68 | 72 |
|
217 |
+
| Qwen-72B-Chat(Int4) | 87 | 89 | 90 | 32 | 67 | 76 |
|
218 |
+
| GPT-4 | 91 | 94 | 96 | 95 | 75 | 86 |
|
219 |
+
| Orion-14B-Chat-RAG | 86 | 87 | 91 | 97 | 73 | 71 |
|
220 |
+
\* ์ฌ๋ ํ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ๋ฆฌํจ๋ค
|
221 |
+
|
222 |
+
## 3.5. ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธOrion-14B-Chat-Pluginํ๊ฐ
|
223 |
+
### 3.5.1. ์๊ธฐ ๋ง๋ ํ๋ฌ๊ทธ์ธ ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ
|
224 |
+
| ๋ชจ๋ธ ๋ช
์นญ | ํ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋ถ์์ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋น ํ๋ฌ๊ทธ์ธ ์ ์ฉ ์๋ณ |
|
225 |
+
|-----------------------|--------|-----------|--------|
|
226 |
+
| Baichuan2-13B-Chat | 25 | 0 | 0 |
|
227 |
+
| Qwen-14B-Chat | 55 | 0 | 50 |
|
228 |
+
| GPT-4 | **95** | 52.38 | 70 |
|
229 |
+
| Orion-14B-Chat-Plugin | 92.5 | **60.32** | **90** |
|
230 |
+
|
231 |
+
## 3.6. ๊ณ๋ํ ๋ชจ๋ธOrion-14B-Base-Int4ํ๊ฐ
|
232 |
+
### 3.6.1. ๊ณ๋ํ ์ ํ ์ ๋ฐ์ ์ธ ๋น๊ต
|
233 |
+
|๋ชจ๋ธ ๋ช
์นญ|๋ชจ๋ธ ํฌ๊ธฐ(GB)|์ถ๋ฆฌ ์๋(ํ ํฐ ์/์ด)|C-Eval |CMMLU |MMLU |RACE | HellaSwag|
|
234 |
+
|-------------------------|------|-----|------|------|------|------|------|
|
235 |
+
| OrionStar-14B-Base | 28.0 | 135 | 72.8 | 70.6 | 70.0 | 93.3 | 78.5 |
|
236 |
+
| OrionStar-14B-Base-Int4 | 8.3 | 178 | 71.8 | 69.8 | 69.2 | 93.1 | 78.0 |
|
237 |
+
|
238 |
+
|
239 |
+
<a name="model-inference"></a><br>
|
240 |
+
# 4. ๋ชจ๋ธ ์ถ๋ฆฌ
|
241 |
+
|
242 |
+
์ถ๋ฆฌ์ ํ์ํ ๋ชจ๋ธ ๊ฐ์ค์น, ์์ค ์ฝ๋, ๋ฐฐ์น๋ Hugging Face์ ๊ฒ์๋์ด ๋ค์ด๋ก๋ ๋งํฌ๋ ์ด ํ์ผ ๋งจ ์ฒ์์ ์๋ ํ๋ฅผ ์ฐธ์กฐํ์ธ์. ์ ํฌ๋ ์ฌ๊ธฐ์ ๋ค์ํ ์ถ๋ฆฌ ๋ฐฉ์์ ๋ณด์ฌ ์ฃผ๊ณ ํ๋ก๊ทธ๋จ์ Hugging Face๋ก๋ถํฐ ํ์ํ ์๋ฃ๋ฅผ ์๋์ผ๋ก ๋ค์ด๋ก๋ ํ ๊ฒ์ด๋ค.
|
243 |
+
|
244 |
+
## 4.1. Python ์ฝ๋ ๋ฐฉ์
|
245 |
+
|
246 |
+
```python
|
247 |
+
import torch
|
248 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
249 |
+
from transformers.generation.utils import GenerationConfig
|
250 |
+
|
251 |
+
tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/Orion-14B", use_fast=False, trust_remote_code=True)
|
252 |
+
model = AutoModelForCausalLM.from_pretrained("OrionStarAI/Orion-14B", device_map="auto",
|
253 |
+
torch_dtype=torch.bfloat16, trust_remote_code=True)
|
254 |
+
|
255 |
+
model.generation_config = GenerationConfig.from_pretrained("OrionStarAI/Orion-14B")
|
256 |
+
messages = [{"role": "user", "content": "์๋
! ์ด๋ฆ์ด ๋ญ์์!"}]
|
257 |
+
response = model.chat(tokenizer, messages, streaming=Flase)
|
258 |
+
print(response)
|
259 |
+
|
260 |
+
```
|
261 |
+
|
262 |
+
์์ ๋ ์ฝ๋์์ ๋ชจ๋ธ์ ์ง์ ๋ `device_map='auto'`๋ก๋ฉํ๋ฉด ๋ชจ๋ ์ฌ์ฉํ ์ ์๋ ๊ทธ๋ํฝ ์นด๋๋ฅผ ์ฌ์ฉํ ๊ฒ์ด๋ค. ์ฌ์ฉํ ์ฅ์น๋ฅผ ์ง์ ํ๋ ค๋ฉด `export CUDA_VISIBLE_DEVICES=0,1`(๊ทธ๋ํฝ ์นด๋ 0๊ณผ 1์ ์ฌ์ฉ)๊ณผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ์ ์ดํ ์ ์๋ค.
|
263 |
+
|
264 |
+
## 4.2. ๋ช
๋ น์ค ํด ๋ฐฉ์
|
265 |
+
|
266 |
+
```shell
|
267 |
+
CUDA_VISIBLE_DEVICES=0 python cli_demo.py
|
268 |
+
```
|
269 |
+
|
270 |
+
์ด ๋ช
๋ น์ค ํด์ Chat ์๋๋ฆฌ์ค๋ฅผ ์ํด ์ค๊ณ๋์์ผ๋ฏ๋ก ์ด ํด๋ก ๋ฒ ์ด์ค ๋ชจ๋ธ์ ์ ์ฉํ๋ ๊ฒ ์ง์ํ์ง ์๋๋ค.
|
271 |
+
|
272 |
+
## 4.3. ์คํฌ๋ฆฝํธ ์ง์ ์ถ๋ฆฌ
|
273 |
+
|
274 |
+
```shell
|
275 |
+
# base model
|
276 |
+
CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/Orion-14B --tokenizer OrionStarAI/Orion-14B --prompt ์๋
. ์ด๋ฆ์ด ๋ญ์์
|
277 |
+
|
278 |
+
# chat model
|
279 |
+
CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt ์๋
. ์ด๋ฆ์ด ๋ญ์์
|
280 |
+
|
281 |
+
```
|
282 |
+
|
283 |
+
## 4.4. ์์ ๋
ธ์ถ
|
284 |
+
|
285 |
+
### 4.4.1. ์ก๋ด
|
286 |
+
|
287 |
+
`````
|
288 |
+
์ฌ์ฉ์๏ผ์๋
,์ด๋ฆ์ด ๋ญ์์
|
289 |
+
Orion-14B๏ผ์๋
! ์ ๋ ์ธ๊ณต์ง๋ฅ ์กฐ์ ์
๋๋ค. ์ ํด์ง ์ด๋ฆ์ ์๊ณ ๋ง์๋๋ก ๋ถ๋ฌ๋ ๋ฉ๋๋ค. ๋์์ค ์ ์๋ ๊ฑฐ ์๋์?
|
290 |
+
์ฌ์ฉ์๏ผ์ด์ผ๊ธฐ ํ๋ ๋๋ ์ค
|
291 |
+
Orion-14B๏ผ์์ ์ ์ญ์ด๋ผ๋ ์ด๋ฆฐ ์๋
์ด ์์๋ค. ๊ทธ๋ ์์ ๋ง์์ ์ด์๋ค. ์ญ์ ๋ชจํ๊ณผ ํ๊ตฌ๋ฅผ ๋งค์ฐ ์ข์ํด์ ํญ์ ์ ๊ธฐํ ๊ฒ์ ๋ฐ๊ฒฌํ๋ ๊ฟ์ ๊พผ๋ค.
|
292 |
+
|
293 |
+
์ด๋๋ ์ญ์ ๊ทผ์ฒ์ ์ฒ ๊น์ ๊ณณ์ ์ ์ค์์ ๋ง๋ฒ์ฑ์ด ์์ด ๊ทธ ์์ ์ฌ์
ํ ๊ฑฐ์ธ์ด ์ฐ๋ค๋ ์์์ ๋ ๋ค. ๊ทธ ๊ฑฐ์ธ์ ์ด๋ฆ์ ๊ทธ๋ฆผ์ด์๋ค. ๊ทธ๋ ์ฑ ์์ ๊ฐํ ์ฑ ๋ ๋ ์ ์์๋ค.
|
294 |
+
|
295 |
+
์ญ์ ๊ทธ๋ฆผ์ด ๊ทธ๊ณณ์ ๊ฐํ์๋ ์ด์ ๊ฐ ๊ผญ ์์ ๊ฑฐ๋ผ๊ณ ๋ฏฟ๊ธฐ ๋๋ฌธ์ ๊ฑฐ์ธ์ ๊ตฌํ๋ฌ ๊ฐ๊ธฐ๋ก ๊ฒฐ์ฌํ๋ค. ๊ทธ๋ฆฌํ์ฌ ๊ทธ๋ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ ๊ฐ์ ธ ๋ง๋ฒ์ ์ฑ์ผ๋ก ๊ฐ๋ ์ฌ์ ์ ์์ํ๋ค.
|
296 |
+
|
297 |
+
์ค๋ ๊ณ ์ ๋์ ์ญ์ ๋ง์นจ๋ด ์ฑ๋ณด ๋๋ฌธ ์์ ๋ค๋ค๋๋ค. ๊ทธ๋ ์กฐ์ฌ์ค๋ฝ๊ฒ ๋๋ฌธ์ ์ด๊ณ ์ ๋นํ ๊ธฐ์ด์ด ๊ฐ๋ํ ๋ฐฉ์ผ๋ก ๋ค์ด๊ฐ๋ค.
|
298 |
+
|
299 |
+
๋ฐฉ์์ ์ด๋์ด ๊ธฐ์ด์ด ๊ฐ๋ํ์ง๋ง ์ญ์ ๋๋ผ์ง ์์๋ค. ๊ทธ๋ ์ฉ๊ฐํ๊ฒ ์ฑ ์์ผ๋ก ๋ค์ด๊ฐ ๋ง์นจ๋ด ๊ทธ๋ฆผ์ ์ฐพ์๋๋ค.
|
300 |
+
|
301 |
+
๊ทธ๋ฆผ์ ์์ ์ ์ฌ์
ํ ๋ง๋
์ ์ ์ฃผ๋ฅผ ๋ฐ์์ ์ ์ฃผ๋ฅผ ํ์ด์ผ๋ง ์์ ๋ก์์ง ์ ์๋ค๊ณ ์ญ์๊ฒ ๋งํ๋ค. ์ญ์ ๊ทธ๋ฆผ์ ๋๊ธฐ๋ก ๊ฒฐ์ ํ์ฌ ๋จ์์ ์ฃผ๋ฌธ์ ํ ๋ฐฉ๋ฒ์ ์ฐพ๊ธฐ ์์ํ๋ค.
|
302 |
+
|
303 |
+
ํ๋ฐํ์ ๋
ธ๋ ฅ ๋์ ์ญ์ ๋๋์ด ๋ง๋
์ ๋น๋ฐ ์คํ์ค๋ก ๊ฐ๋ ๊ธธ์ ์ฐพ์๋ธ๋ค. ๊ทธ๋ ๊ทธ๊ณณ์์ ๋ง๋
๊ฐ ๋จ๊ธด ๋ง๋ฒ์๋ฅผ ๋ฐ๊ฒฌํ๋๋ฐ ๊ทธ ์ฑ
์์ ์ฃผ๋ฌธ์ ํธ๋ ๋ฐฉ๋ฒ์ด ์ ํ ์์๋ค.
|
304 |
+
|
305 |
+
์ญ์ ์ฑ
์ ์ฐ์ธ ์ ์ฐจ๋ฅผ ๋ฐ๋ผํ์ฌ ๊ทธ๋ฆผ์ ์ ์ฃผ๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ํ์ด๋๋ค. ๊ฑฐ์ธ์ ๋๋ฌด ๊ฐ์ฌํด์ ์ญ์ ์์์ด ์ด๋ฃจ์ด์ง๋๋ก ๋๊ฒ ๋ค๊ณ ์ฝ์ํ๋ค.
|
306 |
+
|
307 |
+
์ด๋๋ก๋ถํฐ ์ญ๊ณผ ๊ทธ๋ฆผ์ ์ข์ ์น๊ตฌ๊ฐ ๋์ด ๋ง์ ์ํํ๊ณ ์ง๋ฆฟํ ๋ชจํ์ ํจ๊ป ๊ฒช์์ผ๋ฉฐ ๊ทธ๋ค์ ์ฉ๊ธฐ์ ์งํ๋ก ๊ฐ์ข
์ด๋ ค์์ ์ด๊ฒจ๋๋ค.
|
308 |
+
|
309 |
+
์ด ์ด์ผ๊ธฐ๋ ์ ํฌ์๊ฒ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ด ์๋ค๋ฉด ๋ชจ๋ ์ด๋ ค์์ ๊ทน๋ณตํ๊ณ ์์ ์ ๊ฟ์ ์ด๋ฃฐ ์ ์๋ค๋ ๊ฒ์ ์๋ ค์ค๋ค.
|
310 |
+
`````
|
311 |
+
|
312 |
+
### 4.4.2. ํ์ผ
|
313 |
+
|
314 |
+
`````
|
315 |
+
็จๆท๏ผ่ชๅทฑใ็ดนไปใใฆใใ ใใ
|
316 |
+
Orion-14B๏ผใใใซใกใฏใ็งใฎๅๅใฏChatMaxใงใOrionStarใซใใฃใฆ้็บใใใAIใขใทในใฟใณใใงใใ็งใฏใฆใผใถใผใซๆญฃ็ขบใงใๅฎข่ฆณ็ใงใๆ็จใชๅ็ญใๆไพใใๅฝผใใๅ้กใ่งฃๆฑบใใๆ
ๅ ฑใๅๅพใใใฎใๅฉใใใใจใใงใใพใใ
|
317 |
+
็จๆท๏ผ์๊ธฐ์๊ฐ๋ฅผ ํด์ฃผ์ธ์.
|
318 |
+
Orion-14B๏ผ์๋
ํ์ธ์, ์ ๋ช
์นญ์ ChatMax์
๋๋ค. OrionStar์์ ๊ฐ๋ฐํ AI ์ด์์คํดํธ์
๋๋ค. ์ ๋ ์ฌ์ฉ์๋ค์๊ฒ ์ ํํ๊ณ ๊ฐ๊ด์ ์ด๋ฉฐ ์ ์ฉํ ๋ต๋ณ์ ์ ๊ณตํ์ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ ๋ณด๋ฅผ ์ป๋ ๋ฐ ๋์์ ์ค ์ ์์ต๋๋ค.
|
319 |
+
`````
|
320 |
+
|
321 |
+
|
322 |
+
<a name="declarations-license"></a><br>
|
323 |
+
# 5. ์ฑ๋ช
, ํ์
|
324 |
+
|
325 |
+
## 5.1. ์ฑ๋ช
|
326 |
+
|
327 |
+
์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B๋ชจ๋ธ์ ์ด์ฉํ์ฌ ๊ตญ๊ฐ ์ฌํ ์์ ์ ํด์น๊ฑฐ๋ ๋ถ๋ฒ์ ์ธ ํ์๋ฅผ ํ๋ ๊ฑฐ ํ์ง ์๋๋ก ๊ฐ๋ ฅํ ํธ์ํ๋ค. ๋ํ, ์ ํฌ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B ๋ชจ๋ธ์ ์ ์ ํ ๋ณด์ ๊ฒํ ๋ฅผ ํ์ง ์๊ฑฐ๋ ๋ฌธ์ํ๋์ง ์์ ์ธํฐ๋ท ์๋น์ค๋ก ์ด์ฉํ์ง ๋ง๋ผ๋ ๊ฒ์ ์์ฒญํ๋ค.
|
328 |
+
|
329 |
+
์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๊ฐ ์ด ์์น์ ์งํค๋ฉฐ ๊ธฐ์ ์ ๋ฐ์ ์ด ๊ท๋ฒ์ ์ด๊ณ ํฉ๋ฒ์ ์ธ ํ๊ฒฝ์์ ์ด๋ฃจ์ด์ง ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋ค.
|
330 |
+
์ ํฌ๋ ์ด๋ฏธ ์ต์ ์ ๋คํด ๋ชจ๋ธ ํ๋ จ ๊ณผ์ ์์ ์ฌ์ฉ๋ ๋ฐ์ดํฐ์ ์ค์น์ฑ์ ํ๋ณดํ๋๋ก ํ์๋ค. ๊ทธ๋ฌ๋ ๋ง๋ํ ๋
ธ๋ ฅ์ ๊ธฐ์ธ์์์๋ ๋ถ๊ตฌํ๊ณ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์ ๋ณต์ก์ฑ์ผ๋ก ๋ง๋ฏธ์์ ์ผ๋ถ ์๊ฒฌํ ์ ์์ ๋ฌธ์ ๋ค์ด ์ฌ์ ํ ์กด์ฌํ ์ ์๋ค. ๋ฐ๋ผ์ Orion-14B ์คํ์์ค ๋ชจ๋ธ์ ์ฌ์ฉ์ผ๋ก ์ผ๊ธฐ๋ ๋ฌธ์ , ๋ฐ์ดํฐ ๋ณด์ ๋ฌธ์ ์ ๊ณต๋ก ์ํ์ด๋ ๋ชจ๋ธ์ ์ค๋, ๋จ์ฉ, ์ ํ, ๋ํ ๋ถ์ ๋นํ ์ฌ์ฉ ๋ฑ์ผ๋ก ๊ฐ์ ธ์จ ์ํ๊ณผ ๋ฌธ์ ์ ๋ํด ์ ํฌ๋ ์ฑ
์์ ์ง์ง ์๊ฒ ๋ค.
|
331 |
+
|
332 |
+
## 5.2. ํ์
|
333 |
+
|
334 |
+
์ปค๋ฎค๋ํฐ ์ฌ์ฉOrion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ
|
335 |
+
- ์ฝ๋๋ [Apache License Version 2.0](./LICENSE)<br>๋ฐ๋ฅด์ธ์
|
336 |
+
- ๋ชจ๋ธ์ [Orion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ ํ๊ฐ ํ์](./ModelsCommunityLicenseAgreement)๋ฐ๋ฅด์ธ์
|
337 |
+
|
338 |
+
|
339 |
+
<a name="company-introduction"></a><br>
|
340 |
+
# 6. ํ์ฌ์๊ฐ
|
341 |
+
|
342 |
+
์ค๋ฆฌ์จ ์คํ๏ผOrionStar๏ผ๋ 2016๋
9์ ์ค๋ฆฝ๋ ์ธ๊ณ ์ต๊ณ ์ ์๋น์ค ๋ก๋ด ์๋ฃจ์
ํ์ฌ์ด๋ค. ์ค๋ฆฌ์จ ์คํ๋ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๋ฐํ์ผ๋ก ์ฐจ์ธ๋ ํ๋ช
์ ๋ก๋ด ๋ง๋ค์ด ์ฌ๋๋ค์ด ๋ฐ๋ณต๋๋ ์ก์ฒด๋
ธ๋์์ ๋ฒ์ด๋ ์ผ๊ณผ ์ํ์ ๋์ฑ ์ง๋ฅ์ ์ด๊ณ ์ฌ๋ฏธ์๊ฒ ๋ง๋ค๊ณ ๊ธฐ์ ์ ํตํด ์ฌํ์ ์ธ๊ณ๋ฅผ ๋์ฑ ์๋ฆ๋ต๊ฒ ๋ง๋ ๊ฒ์ ํ์ ๊ธฐ์ธ์ธ๋ค.
|
343 |
+
|
344 |
+
์ค๋ฆฌ์จ ์คํ๋ ์์ฑ ์ธํฐ๋ ์
๊ณผ ์๊ฐ ๋ค๋น๊ฒ์ด์
๋ฑ ์์ ํ ๋
์์ ์ผ๋ก ๊ฐ๋ฐํ ํ ์ฒด์ธ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๊ฐ์ง๊ณ ์๋ค. ์ ํฌ๋ ํ๋ก๋ํธ ๊ฐ๋ฐ ๋ฅ๋ ฅ๊ณผ ๊ธฐ์ ์์ฉ ๋ฅ๋ ฅ์ ํตํฉํ์๋ค. ์ค๋ฆฌ์จ ๋ก๋ด ํ ํ๋ซํผ์ ๊ธฐ๋ฐ์ผ๋ก ORIONSTAR AI Robot Greeting, AI Robot Greeting Mini, Lucki, CoffeeMaster ๋ฑ์ ํ๋ก๋ํธ ์ถ์ํ์์ผ๋ฉฐ ์ค๋ฆฌ์จ ๋ก๋ด์ ์คํ ํ๋ซํผ์ธ OrionOS๋ฅผ ์ค๋ฆฝํ์๋ค. **์ง์ง ์ ์ฉํ ๋ก๋ด์ ์ํด ํ์ด๋๋ผ**์ ์ด๋
์ ์ํ ์ค์ฒํ์ฌ AI๊ธฐ์ ์ ํตํด ๋ ๋ง์ ์ฌ๋๋ค์๊ฒ ๋ฅ๋ ฅ์ ๋ถ์ฌํ๋ค.
|
345 |
+
|
346 |
+
7๋
์ AI๊ฒฝํ ๋์ ์ ๋ฐํ์ผ๋ก ์ค๏ฟฝ๏ฟฝ์จ ์คํ๋ ๋ํ ๋ชจ๋ธ ์ฌ์ธต ์์ฉ"์ฅ์ธ(Chatmax)"์ ์ถ์ํ๊ณ ์
๊ณ ๊ณ ๊ฐ์๊ฒ ๋ง์ถคํ AI๋ํ ๋ชจ๋ธ ์ปจ์คํ
๊ณผ ์๋น์ค ์๋ฃจ์
์ ์ง์์ ์ผ๋ก ์ ๊ณตํ์ฌ ์ง์ ์ผ๋ก ๊ธฐ์
๊ฒฝ์ ํจ์จ์ด ๋์ข
์
๊ณ์ ์์๋ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ ์ ์๋๋ก ๊ณ ๊ฐ๋ค์๊ฒ ๋๊ณ ์๋ค.
|
347 |
+
|
348 |
+
**์ค๋ฆฌ์จ ์คํ๋ ํ ์ฒด์ธ ๋ํ ๋ชจ๋ธ ์์ฉ๋ฅ๋ ฅ์ด๋ ํต์ฌ์ ์ฐ์ธ๋ฅผ ๊ฐ๊ณ ์๋ค**, ๋๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ํ ๋ชจ๋ธ ์ฌ์ ํ๋ จ, 2์ฐจ ์ฌ์ ํ๋ จ, ๋ฏธ์ธ ์กฐ์ (Fine-tune), PromptEngineering, Agent๋ฑ์์ ๊ฐ๋ฐ๋ ํ ์ฒด์ธ ๋ฅ๋ ฅ๊ณผ ๊ฒฝํ ๋์ ์ ๊ฐ์ง๋ ๊ฑฐ ํฌํจํ๋ค. ์ฒด๊ณํ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ ์ฐจ์ ์๋ฐฑ ๊ฐ์ GPU์ ๋ณ๋ ฌ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ํฌํจํ ์์ ํ ์๋ํฌ์๋ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ํ์ฌ ๋ํ ์ ๋ฌด, ํด๋ผ์ฐ๋ ์๋น์ค, ์ถํด ์ ์์๊ฑฐ๋, ์พ์์๋นํ ๋ฑ ์ฌ๋ฌ ์
๊ณ์์ ๊ตฌํ๋์๋ค.
|
349 |
+
|
350 |
+
***๋ํ ๋ชจ๋ธ ์์ฉ ๊ตฌํ ํ์๊ฐ ์์ผ์ ํ์ฌ๊ป์ ์ ํฌ์ ์ฐ๋ฝํ๋ ๊ฒ์ ํ์ํ๋ค***<br>
|
351 |
+
**๋ฌธ์ ์ ํ:** 400-898-7779<br>
|
352 |
+
**์ด๋ฉ์ผ:** ai@orionstar.com
|
353 |
+
|
354 |
+
<div align="center">
|
355 |
+
<img src="./assets/imgs/wechat_group.jpg" alt="wechat" width="40%" />
|
356 |
+
</div>
|