Update README.md
Browse files
README.md
CHANGED
@@ -2,30 +2,30 @@
|
|
2 |
license: cc-by-nc-4.0
|
3 |
---
|
4 |
|
5 |
-
# TinyWand-SFT
|
6 |
<p align="left">
|
7 |
<img src="./TinyWand.png" width="150"/>
|
8 |
<p>
|
9 |
|
10 |
-
#
|
11 |
|
12 |
**1.63B, ํ์ฐฎ์ ํฌ๊ธฐ์ SLM์ ์ด๋จ๊น์?**
|
13 |
|
14 |
-
##
|
15 |
**TinyWand-SFT**๋ 1.63B์ SLM ๋ชจ๋ธ์
๋๋ค. ์ด ๋ชจ๋ธ์ 1.63B๋ผ๋ ์์ ํฌ๊ธฐ๋ฅผ ๊ฐ์ง์ผ๋ก์จ ์ํ๊ธฐ๊ธฐ์์ ๊ตฌ๋๋๊ฑฐ๋ ํฐ toks/s๋ฅผ ๊ฐ์ง ์ ์์๊ณผ ๋์์ ๊ฐ๋ ฅํ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค.
|
16 |
|
17 |
-
##
|
18 |
ํ์ฌ ๋ชจ๋ธ์ ์์
์ ์ด์ฉ ๋ถ๊ฐ์ธ cc-by-nc-4.0์ ๋ผ์ด์ผ์ค๋ฅผ ์ ์ฉ๋ฐ๊ณ ์์ผ๋ฉฐ, ์ด๋ ํด๋น ๋ชจ๋ธ์ weight๋ฅผ ์ด์ฉํ ํ์ธํ๋, Continual-์ฌ์ ํ์ต ๋ชจ๋ธ์๋ ๋์ผํ๊ฒ ์ ์ฉ๋ฉ๋๋ค.
|
19 |
|
20 |
๋ผ์ด์ผ์ค๋ ๋ฌด๋ฃ ํน์ ์กฐ๊ฑด๋ถ๋ก ๋ฉฐ์น ํ ์์ ๋ ์์ ์
๋๋ค.
|
21 |
|
22 |
-
##
|
23 |
TBD
|
24 |
|
25 |
-
##
|
26 |
-
|
27 |
|
28 |
-
##
|
29 |
|
30 |
**์ถ๋ก ์ ํ์ํ VRAM**
|
31 |
| ์์ํ | ์
๋ ฅ ํ ํฐ ์ | ์ถ๋ ฅ ํ ํฐ ์ | ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ |
|
|
|
2 |
license: cc-by-nc-4.0
|
3 |
---
|
4 |
|
5 |
+
# **TinyWand-SFT**
|
6 |
<p align="left">
|
7 |
<img src="./TinyWand.png" width="150"/>
|
8 |
<p>
|
9 |
|
10 |
+
# **ํ๊ตญ์ด ๋ชจ๋ธ ์ค๋ช
**
|
11 |
|
12 |
**1.63B, ํ์ฐฎ์ ํฌ๊ธฐ์ SLM์ ์ด๋จ๊น์?**
|
13 |
|
14 |
+
## **๋ชจ๋ธ ์๊ฐ**
|
15 |
**TinyWand-SFT**๋ 1.63B์ SLM ๋ชจ๋ธ์
๋๋ค. ์ด ๋ชจ๋ธ์ 1.63B๋ผ๋ ์์ ํฌ๊ธฐ๋ฅผ ๊ฐ์ง์ผ๋ก์จ ์ํ๊ธฐ๊ธฐ์์ ๊ตฌ๋๋๊ฑฐ๋ ํฐ toks/s๋ฅผ ๊ฐ์ง ์ ์์๊ณผ ๋์์ ๊ฐ๋ ฅํ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค.
|
16 |
|
17 |
+
## **๋ชจ๋ธ ๋ผ์ด์ผ์ค**
|
18 |
ํ์ฌ ๋ชจ๋ธ์ ์์
์ ์ด์ฉ ๋ถ๊ฐ์ธ cc-by-nc-4.0์ ๋ผ์ด์ผ์ค๋ฅผ ์ ์ฉ๋ฐ๊ณ ์์ผ๋ฉฐ, ์ด๋ ํด๋น ๋ชจ๋ธ์ weight๋ฅผ ์ด์ฉํ ํ์ธํ๋, Continual-์ฌ์ ํ์ต ๋ชจ๋ธ์๋ ๋์ผํ๊ฒ ์ ์ฉ๋ฉ๋๋ค.
|
19 |
|
20 |
๋ผ์ด์ผ์ค๋ ๋ฌด๋ฃ ํน์ ์กฐ๊ฑด๋ถ๋ก ๋ฉฐ์น ํ ์์ ๋ ์์ ์
๋๋ค.
|
21 |
|
22 |
+
## **๋ชจ๋ธ ์ฑ๋ฅ**
|
23 |
TBD
|
24 |
|
25 |
+
## **ํ์ต ๊ณผ์ **
|
26 |
+
TBD
|
27 |
|
28 |
+
## **์ฌ์ฉ ์๋ด**
|
29 |
|
30 |
**์ถ๋ก ์ ํ์ํ VRAM**
|
31 |
| ์์ํ | ์
๋ ฅ ํ ํฐ ์ | ์ถ๋ ฅ ํ ํฐ ์ | ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ |
|