vocal2guitar / Changelog_KO.md
uptaleend's picture
Duplicate from lj1995/vocal2guitar
6b44236
|
raw
history blame
5.44 kB

2023๋…„ 5์›” 28์ผ ์—…๋ฐ์ดํŠธ

  • v2 jupyter notebook ์ถ”๊ฐ€, ํ•œ๊ตญ์–ด ์—…๋ฐ์ดํŠธ ๋กœ๊ทธ ์ถ”๊ฐ€, ์˜์กด์„ฑ ๋ชจ๋“ˆ ์ผ๋ถ€ ์ˆ˜์ •.
  • ๋ฌด์„ฑ์Œ ๋ฐ ์ˆจ์†Œ๋ฆฌ ๋ณดํ˜ธ ๋ชจ๋“œ ์ถ”๊ฐ€.
  • crepe-full pitch ๊ฐ์ง€ ์ง€์›.
  • UVR5 ๋ณด์ปฌ ๋ถ„๋ฆฌ: ๋””๋ฒ„๋ธŒ ๋ฐ ๋””-์—์ฝ” ๋ชจ๋ธ ์ง€์›.
  • index ์ด๋ฆ„์— experiment ์ด๋ฆ„๊ณผ ๋ฒ„์ „ ์ถ”๊ฐ€.
  • ๋ฐฐ์น˜ ์Œ์„ฑ ๋ณ€ํ™˜ ์ฒ˜๋ฆฌ ๋ฐ UVR5 ๋ณด์ปฌ ๋ถ„๋ฆฌ ์‹œ, ์‚ฌ์šฉ์ž๊ฐ€ ์ˆ˜๋™์œผ๋กœ ์ถœ๋ ฅ ์˜ค๋””์˜ค์˜ ๋‚ด๋ณด๋‚ด๊ธฐ(export) ํ˜•์‹์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›.
  • 32k ํ›ˆ๋ จ ๋ชจ๋ธ ์ง€์› ์ข…๋ฃŒ.

์ถ”ํ›„ ์—…๋ฐ์ดํŠธ ๋ชฉ๋ก:

  • ํŠน์ง• ๊ฒ€์ƒ‰: ์‹œ๊ฐ„์  ํŠน์ง• ๊ฒ€์ƒ‰ ์ถ”๊ฐ€.
  • ํŠน์ง• ๊ฒ€์ƒ‰: pre-kmeans ์˜ต์…˜ ์ถ”๊ฐ€.
  • ํŠน์ง• ๊ฒ€์ƒ‰: PCAR ์ฐจ์› ์ถ•์†Œ ์ถ”๊ฐ€.
  • onnx ์ถ”๋ก  ์ง€์› ์ถ”๊ฐ€.
  • ํ•™์Šต ์‹œ ๋žœ๋ค ๋ฐ์ดํ„ฐ ์ฆ๊ฐ•: ์Œ๊ณ , ์„ฑ๋ณ„, eq, ์žก์Œ.
  • v2 ๋ฒ„์ „ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ ์ถ”๊ฐ€.

2023๋…„ 5์›” 13์ผ ์—…๋ฐ์ดํŠธ

  • ์›ํด๋ฆญ ํŒจํ‚ค์ง€์˜ ์ด์ „ ๋ฒ„์ „ ๋Ÿฐํƒ€์ž„ ๋‚ด, ๋ถˆํ•„์š”ํ•œ ์ฝ”๋“œ(infer_pack ๋ฐ uvr5_pack) ์ œ๊ฑฐ.
  • ํ›ˆ๋ จ ์„ธํŠธ ์ „์ฒ˜๋ฆฌ์˜ ์œ ์‚ฌ ๋‹ค์ค‘ ์ฒ˜๋ฆฌ ๋ฒ„๊ทธ ์ˆ˜์ •.
  • Harvest ํ”ผ์น˜ ์ธ์‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ๋Œ€ํ•œ ์ค‘์œ„์ˆ˜ ํ•„ํ„ฐ๋ง ๋ฐ˜๊ฒฝ ์กฐ์ • ์ถ”๊ฐ€.
  • ์˜ค๋””์˜ค ๋‚ด๋ณด๋‚ผ ๋•Œ, ํ›„์ฒ˜๋ฆฌ ๋ฆฌ์ƒ˜ํ”Œ๋ง ์ง€์›.
  • ํ›ˆ๋ จ์— ๋Œ€ํ•œ ๋‹ค์ค‘ ์ฒ˜๋ฆฌ "n_cpu" ์„ค์ •์ด "f0 ์ถ”์ถœ"์—์„œ "๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ๋ฐ f0 ์ถ”์ถœ"๋กœ ๋ณ€๊ฒฝ.
  • logs ํด๋” ํ•˜์˜ ์ธ๋ฑ์Šค ๊ฒฝ๋กœ๋ฅผ ์ž๋™์œผ๋กœ ๊ฐ์ง€ ๋ฐ ๋“œ๋กญ๋‹ค์šด ๋ชฉ๋ก ๊ธฐ๋Šฅ ์ œ๊ณต.
  • ํƒญ ํŽ˜์ด์ง€์— "์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ๊ณผ ๋‹ต๋ณ€" ์ถ”๊ฐ€. (github RVC wiki ์ฐธ์กฐ ๊ฐ€๋Šฅ)
  • ๋™์ผํ•œ ์ž…๋ ฅ ์˜ค๋””์˜ค ๊ฒฝ๋กœ๋ฅผ ์‚ฌ์šฉํ•  ๋•Œ ์ถ”๋ก , Harvest ํ”ผ์น˜๋ฅผ ์บ์‹œ. (์ฃผ์˜: Harvest ํ”ผ์น˜ ์ถ”์ถœ์„ ์‚ฌ์šฉํ•˜๋ฉด ์ „์ฒด ํŒŒ์ดํ”„๋ผ์ธ์€ ๊ธธ๊ณ  ๋ฐ˜๋ณต์ ์ธ ํ”ผ์น˜ ์ถ”์ถœ ๊ณผ์ •์„ ๊ฑฐ์น˜๊ฒŒ๋ฉ๋‹ˆ๋‹ค. ์บ์‹ฑ์„ ํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด, ์ฒซ inference ์ดํ›„์˜ ๋‹จ๊ณ„์—์„œ timbre, ์ธ๋ฑ์Šค, ํ”ผ์น˜ ์ค‘์œ„์ˆ˜ ํ•„ํ„ฐ๋ง ๋ฐ˜๊ฒฝ ์„ค์ • ๋“ฑ ๋Œ€๊ธฐ์‹œ๊ฐ„์ด ์—„์ฒญ๋‚˜๊ฒŒ ๊ธธ์–ด์ง‘๋‹ˆ๋‹ค!)

2023๋…„ 5์›” 14์ผ ์—…๋ฐ์ดํŠธ

  • ์ž…๋ ฅ์˜ ๋ณผ๋ฅจ ์บก์Š์„ ์‚ฌ์šฉํ•˜์—ฌ ์ถœ๋ ฅ์˜ ๋ณผ๋ฅจ ์บก์Š์„ ํ˜ผํ•ฉํ•˜๊ฑฐ๋‚˜ ๋Œ€์ฒด. (์ž…๋ ฅ์ด ๋ฌด์Œ์ด๊ฑฐ๋‚˜ ์ถœ๋ ฅ์˜ ๋…ธ์ด์ฆˆ ๋ฌธ์ œ๋ฅผ ์ตœ์†Œํ™” ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž…๋ ฅ ์˜ค๋””์˜ค์˜ ๋ฐฐ๊ฒฝ ๋…ธ์ด์ฆˆ(์†Œ์Œ)๊ฐ€ ํฐ ๊ฒฝ์šฐ ํ•ด๋‹น ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ๋น„ํ™œ์„ฑํ™” ๋˜์–ด์žˆ๋Š” ์˜ต์…˜์ž…๋‹ˆ๋‹ค. (1: ๋น„ํ™œ์„ฑํ™” ์ƒํƒœ))
  • ์ถ”์ถœ๋œ ์†Œํ˜• ๋ชจ๋ธ์„ ์ง€์ •๋œ ๋นˆ๋„๋กœ ์ €์žฅํ•˜๋Š” ๊ธฐ๋Šฅ์„ ์ง€์›. (๋‹ค์–‘ํ•œ ์—ํญ ํ•˜์—์„œ์˜ ์„ฑ๋Šฅ์„ ๋ณด๋ ค๊ณ  ํ•˜์ง€๋งŒ ๋ชจ๋“  ๋Œ€ํ˜• ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์ €์žฅํ•˜๊ณ  ๋งค๋ฒˆ ckpt ์ฒ˜๋ฆฌ๋ฅผ ํ†ตํ•ด ์†Œํ˜• ๋ชจ๋ธ์„ ์ˆ˜๋™์œผ๋กœ ์ถ”์ถœํ•˜๊ณ  ์‹ถ์ง€ ์•Š์€ ๊ฒฝ์šฐ ์ด ๊ธฐ๋Šฅ์€ ๋งค์šฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค)
  • ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋ฅผ ์„ค์ •ํ•˜์—ฌ ์„œ๋ฒ„์˜ ์ „์—ญ ํ”„๋ก์‹œ๋กœ ์ธํ•œ "์—ฐ๊ฒฐ ์˜ค๋ฅ˜" ๋ฌธ์ œ ํ•ด๊ฒฐ.
  • ์‚ฌ์ „ ํ›ˆ๋ จ๋œ v2 ๋ชจ๋ธ ์ง€์›. (ํ˜„์žฌ 40k ๋ฒ„์ „๋งŒ ํ…Œ์ŠคํŠธ๋ฅผ ์œ„ํ•ด ๊ณต๊ฐœ์ ์œผ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๋ฉฐ, ๋‹ค๋ฅธ ๋‘ ๊ฐœ์˜ ์ƒ˜ํ”Œ๋ง ๋น„์œจ์€ ์•„์ง ์™„์ „ํžˆ ํ›ˆ๋ จ๋˜์ง€ ์•Š์•„ ๋ณด๋ฅ˜๋˜์—ˆ์Šต๋‹ˆ๋‹ค.)
  • ์ถ”๋ก  ์ „, 1์„ ์ดˆ๊ณผํ•˜๋Š” ๊ณผ๋„ํ•œ ๋ณผ๋ฅจ ์ œํ•œ.
  • ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ๋งค๊ฐœ๋ณ€์ˆ˜ ๋ฏธ์„ธ ์กฐ์ •.

2023๋…„ 4์›” 9์ผ ์—…๋ฐ์ดํŠธ

  • GPU ์ด์šฉ๋ฅ  ํ–ฅ์ƒ์„ ์œ„ํ•ด ํ›ˆ๋ จ ํŒŒ๋ผ๋ฏธํ„ฐ ์ˆ˜์ •: A100์€ 25%์—์„œ ์•ฝ 90%๋กœ ์ฆ๊ฐ€, V100: 50%์—์„œ ์•ฝ 90%๋กœ ์ฆ๊ฐ€, 2060S: 60%์—์„œ ์•ฝ 85%๋กœ ์ฆ๊ฐ€, P40: 25%์—์„œ ์•ฝ 95%๋กœ ์ฆ๊ฐ€. ํ›ˆ๋ จ ์†๋„๊ฐ€ ํฌ๊ฒŒ ํ–ฅ์ƒ.
  • ๋งค๊ฐœ๋ณ€์ˆ˜ ๊ธฐ์ค€ ๋ณ€๊ฒฝ: total batch_size๋Š” GPU๋‹น batch_size๋ฅผ ์˜๋ฏธ.
  • total_epoch ๋ณ€๊ฒฝ: ์ตœ๋Œ€ ํ•œ๋„๊ฐ€ 100์—์„œ 1000์œผ๋กœ ์ฆ๊ฐ€. ๊ธฐ๋ณธ๊ฐ’์ด 10์—์„œ 20์œผ๋กœ ์ฆ๊ฐ€.
  • ckpt ์ถ”์ถœ์ด ํ”ผ์น˜๋ฅผ ์ž˜๋ชป ์ธ์‹ํ•˜์—ฌ ๋น„์ •์ƒ์ ์ธ ์ถ”๋ก ์„ ์œ ๋ฐœํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
  • ๋ถ„์‚ฐ ํ›ˆ๋ จ ๊ณผ์ •์—์„œ ๊ฐ ๋žญํฌ๋งˆ๋‹ค ckpt๋ฅผ ์ €์žฅํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
  • ํŠน์„ฑ ์ถ”์ถœ ๊ณผ์ •์— ๋‚˜๋…ธ ํŠน์„ฑ ํ•„ํ„ฐ๋ง ์ ์šฉ.
  • ๋ฌด์Œ ์ž…๋ ฅ/์ถœ๋ ฅ์ด ๋žœ๋คํ•˜๊ฒŒ ์†Œ์Œ์„ ์ƒ์„ฑํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •. (์ด์ „ ๋ชจ๋ธ์€ ์ƒˆ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ๋‹ค์‹œ ํ›ˆ๋ จํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค)

2023๋…„ 4์›” 16์ผ ์—…๋ฐ์ดํŠธ

  • ๋กœ์ปฌ ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ๋ณ€๊ฒฝ ๋ฏธ๋‹ˆ-GUI ์ถ”๊ฐ€, go-realtime-gui.bat๋ฅผ ๋”๋ธ” ํด๋ฆญํ•˜์—ฌ ์‹œ์ž‘.
  • ํ›ˆ๋ จ ๋ฐ ์ถ”๋ก  ์ค‘ 50Hz ์ดํ•˜์˜ ์ฃผํŒŒ์ˆ˜ ๋Œ€์—ญ์— ๋Œ€ํ•ด ํ•„ํ„ฐ๋ง ์ ์šฉ.
  • ํ›ˆ๋ จ ๋ฐ ์ถ”๋ก ์˜ pyworld ์ตœ์†Œ ํ”ผ์น˜ ์ถ”์ถœ์„ ๊ธฐ๋ณธ 80์—์„œ 50์œผ๋กœ ๋‚ฎ์ถค. ์ด๋กœ ์ธํ•ด, 50-80Hz ์‚ฌ์ด์˜ ๋‚จ์„ฑ ์ €์Œ์ด ๋ฌด์Œํ™”๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์‹œ์Šคํ…œ ์ง€์—ญ์— ๋”ฐ๋ฅธ WebUI ์–ธ์–ด ๋ณ€๊ฒฝ ์ง€์›. (ํ˜„์žฌ en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW๋ฅผ ์ง€์›ํ•˜๋ฉฐ, ์ง€์›๋˜์ง€ ์•Š๋Š” ๊ฒฝ์šฐ ๊ธฐ๋ณธ๊ฐ’์€ en_US)
  • ์ผ๋ถ€ GPU์˜ ์ธ์‹ ์ˆ˜์ •. (์˜ˆ: V100-16G ์ธ์‹ ์‹คํŒจ, P4 ์ธ์‹ ์‹คํŒจ)

2023๋…„ 4์›” 28์ผ ์—…๋ฐ์ดํŠธ

  • Faiss ์ธ๋ฑ์Šค ์„ค์ • ์—…๊ทธ๋ ˆ์ด๋“œ๋กœ ์†๋„๊ฐ€ ๋” ๋นจ๋ผ์ง€๊ณ  ํ’ˆ์งˆ์ด ํ–ฅ์ƒ.
  • total_npy์— ๋Œ€ํ•œ ์˜์กด์„ฑ ์ œ๊ฑฐ. ์ถ”ํ›„์˜ ๋ชจ๋ธ ๊ณต์œ ๋Š” total_npy ์ž…๋ ฅ์„ ํ•„์š”๋กœ ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • 16 ์‹œ๋ฆฌ์ฆˆ GPU์— ๋Œ€ํ•œ ์ œํ•œ ํ•ด์ œ, 4GB VRAM GPU์— ๋Œ€ํ•œ 4GB ์ถ”๋ก  ์„ค์ • ์ œ๊ณต.
  • ์ผ๋ถ€ ์˜ค๋””์˜ค ํ˜•์‹์— ๋Œ€ํ•œ UVR5 ๋ณด์ปฌ ๋™๋ฐ˜ ๋ถ„๋ฆฌ์—์„œ์˜ ๋ฒ„๊ทธ ์ˆ˜์ •.
  • ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ๋ณ€๊ฒฝ ๋ฏธ๋‹ˆ-GUI๋Š” ์ด์ œ non-40k ๋ฐ non-lazy ํ”ผ์น˜ ๋ชจ๋ธ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

์ถ”ํ›„ ๊ณ„ํš

Features:

  • ๋‹ค์ค‘ ์‚ฌ์šฉ์ž ํ›ˆ๋ จ ํƒญ ์ง€์›.(์ตœ๋Œ€ 4๋ช…)

Base model:

  • ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ์…‹์— ์ˆจ์†Œ๋ฆฌ wav ํŒŒ์ผ์„ ์ถ”๊ฐ€ํ•˜์—ฌ, ๋ณด์ปฌ์˜ ํ˜ธํก์ด ๋…ธ์ด์ฆˆ๋กœ ๋ณ€ํ™˜๋˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
  • ๋ณด์ปฌ ํ›ˆ๋ จ ์„ธํŠธ์˜ ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ์ถ”๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ ์ž‘์—…์„ ์ง„ํ–‰์ค‘์ด๋ฉฐ, ์ด๋Š” ํ–ฅํ›„์— ๋ฐœํ‘œ๋  ์˜ˆ์ •.