maywell commited on
Commit
880f96c
โ€ข
1 Parent(s): a045009

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -8
README.md CHANGED
@@ -2,30 +2,30 @@
2
  license: cc-by-nc-4.0
3
  ---
4
 
5
- # TinyWand-SFT
6
  <p align="left">
7
  <img src="./TinyWand.png" width="150"/>
8
  <p>
9
 
10
- # ํ•œ๊ตญ์–ด ๋ชจ๋ธ ์„ค๋ช…
11
 
12
  **1.63B, ํ•˜์ฐฎ์€ ํฌ๊ธฐ์˜ SLM์€ ์–ด๋–จ๊นŒ์š”?**
13
 
14
- ## ๋ชจ๋ธ ์†Œ๊ฐœ
15
  **TinyWand-SFT**๋Š” 1.63B์˜ SLM ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ 1.63B๋ผ๋Š” ์ž‘์€ ํฌ๊ธฐ๋ฅผ ๊ฐ€์ง์œผ๋กœ์จ ์†Œํ˜•๊ธฐ๊ธฐ์—์„œ ๊ตฌ๋™๋˜๊ฑฐ๋‚˜ ํฐ toks/s๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ์Œ๊ณผ ๋™์‹œ์— ๊ฐ•๋ ฅํ•œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
16
 
17
- ## ๋ชจ๋ธ ๋ผ์ด์„ผ์Šค
18
  ํ˜„์žฌ ๋ชจ๋ธ์€ ์ƒ์—…์  ์ด์šฉ ๋ถˆ๊ฐ€์ธ cc-by-nc-4.0์˜ ๋ผ์ด์„ผ์Šค๋ฅผ ์ ์šฉ๋ฐ›๊ณ  ์žˆ์œผ๋ฉฐ, ์ด๋Š” ํ•ด๋‹น ๋ชจ๋ธ์„ weight๋ฅผ ์ด์šฉํ•œ ํŒŒ์ธํŠœ๋‹, Continual-์‚ฌ์ „ํ•™์Šต ๋ชจ๋ธ์—๋„ ๋™์ผํ•˜๊ฒŒ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
19
 
20
  ๋ผ์ด์„ผ์Šค๋Š” ๋ฌด๋ฃŒ ํ˜น์€ ์กฐ๊ฑด๋ถ€๋กœ ๋ฉฐ์น  ํ›„ ์ˆ˜์ • ๋  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.
21
 
22
- ## ๋ชจ๋ธ ์„ฑ๋Šฅ
23
  TBD
24
 
25
- ## ํ•™์Šต ๊ณผ์ •
26
- ํ˜„์žฌ ๋น„๊ณต๊ฐœ
27
 
28
- ## ์‚ฌ์šฉ ์•ˆ๋‚ด
29
 
30
  **์ถ”๋ก ์— ํ•„์š”ํ•œ VRAM**
31
  | ์–‘์žํ™” | ์ž…๋ ฅ ํ† ํฐ ์ˆ˜ | ์ถœ๋ ฅ ํ† ํฐ ์ˆ˜ | ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ |
 
2
  license: cc-by-nc-4.0
3
  ---
4
 
5
+ # **TinyWand-SFT**
6
  <p align="left">
7
  <img src="./TinyWand.png" width="150"/>
8
  <p>
9
 
10
+ # **ํ•œ๊ตญ์–ด ๋ชจ๋ธ ์„ค๋ช…**
11
 
12
  **1.63B, ํ•˜์ฐฎ์€ ํฌ๊ธฐ์˜ SLM์€ ์–ด๋–จ๊นŒ์š”?**
13
 
14
+ ## **๋ชจ๋ธ ์†Œ๊ฐœ**
15
  **TinyWand-SFT**๋Š” 1.63B์˜ SLM ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ 1.63B๋ผ๋Š” ์ž‘์€ ํฌ๊ธฐ๋ฅผ ๊ฐ€์ง์œผ๋กœ์จ ์†Œํ˜•๊ธฐ๊ธฐ์—์„œ ๊ตฌ๋™๋˜๊ฑฐ๋‚˜ ํฐ toks/s๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ์Œ๊ณผ ๋™์‹œ์— ๊ฐ•๋ ฅํ•œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
16
 
17
+ ## **๋ชจ๋ธ ๋ผ์ด์„ผ์Šค**
18
  ํ˜„์žฌ ๋ชจ๋ธ์€ ์ƒ์—…์  ์ด์šฉ ๋ถˆ๊ฐ€์ธ cc-by-nc-4.0์˜ ๋ผ์ด์„ผ์Šค๋ฅผ ์ ์šฉ๋ฐ›๊ณ  ์žˆ์œผ๋ฉฐ, ์ด๋Š” ํ•ด๋‹น ๋ชจ๋ธ์„ weight๋ฅผ ์ด์šฉํ•œ ํŒŒ์ธํŠœ๋‹, Continual-์‚ฌ์ „ํ•™์Šต ๋ชจ๋ธ์—๋„ ๋™์ผํ•˜๊ฒŒ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
19
 
20
  ๋ผ์ด์„ผ์Šค๋Š” ๋ฌด๋ฃŒ ํ˜น์€ ์กฐ๊ฑด๋ถ€๋กœ ๋ฉฐ์น  ํ›„ ์ˆ˜์ • ๋  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.
21
 
22
+ ## **๋ชจ๋ธ ์„ฑ๋Šฅ**
23
  TBD
24
 
25
+ ## **ํ•™์Šต ๊ณผ์ •**
26
+ TBD
27
 
28
+ ## **์‚ฌ์šฉ ์•ˆ๋‚ด**
29
 
30
  **์ถ”๋ก ์— ํ•„์š”ํ•œ VRAM**
31
  | ์–‘์žํ™” | ์ž…๋ ฅ ํ† ํฐ ์ˆ˜ | ์ถœ๋ ฅ ํ† ํฐ ์ˆ˜ | ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ |