要不要試試看 Llama-3.2-Taiwan-1B 😎
#1
by
lianghsun
- opened
Hi @Johnson8187 ,
我看見你正在訓練很酷的 Johnson8187/Chinese-emotion-classifier 模型！ 🍻 剛剛我已經將 lianghsun/Llama-3.2-Taiwan-1B 的申請核准了（希望我沒有太慢哈 😛）。
要不要試著用 lianghsun/Llama-3.2-Taiwan-1B 來當作你的基礎模型（foundation model）訓練看看，期待你的新模型 😎 如果可以再給我一點回饋 🥳 Thanks!
你好 @lianghsun
謝謝你的核准，我確實蠻有興趣微調你的模型，事實上我申請你的模型就是因為我想微調一些任務，但我現在有點疑惑，因為我數據量並沒有很多，不知道訓練一個1B的模型這樣夠達到效果嗎？
然後其實我目前只是個剛進入這個領域的新手高中生，我並不知道這種text-generate模型的foundation model與 instruction model中的差異，如果可以的話，可以請教一下你嗎？謝謝😊
Well，先恭喜你在高中時候就踏入最有趣的圈子 🤗 關於 foundation model 和 instruction model 你可以聽聽 State of GPT ，我相信你聽完會收穫滿滿。
至於你的資料量如果只有 ~1k 筆數，那麼從基礎模型做微調可能效果不會好，可以嘗試從 lianghsun/Llama-3.2-Taiwan-1B-Instruct 做微調看看，have fun！
好的，謝謝你的建議，這個影片十分有用，我有機會回試試看的。
Johnson8187
changed discussion status to
closed