請問怎麼本地端寫程式碼呼叫model,更進階一步fine tune?

#2
by NCGWRjason - opened

不好意思,請問一下
我到Files裡面發現有13個檔案這麼多,主要要怎麼load進model用python程式碼執行呢?
有要到unsloth或是github的網站上下載嗎?
之前用的是GGUF檔案,所以可以直接import工具使用

謝謝

TAIDE org

您好,

可以參考這個教學網頁:
https://github.com/philschmid/deep-learning-pytorch-huggingface/blob/main/training/fine-tune-llms-in-2024-with-trl.ipynb

需要注意:

  1. 填入自己的 access token(https://huggingface.co/docs/hub/security-tokens)
login(
  token="", # ADD YOUR TOKEN HERE
  add_to_git_credential=True
)
  1. 修改 Hugging Face model id
model_id = "taide/Llama3-TAIDE-LX-8B-Chat-Alpha1"

Best regards.

aqweteddy changed discussion status to closed

Sign up or log in to comment