하이퍼 파라미터 문의

#3
by The-matt - opened

좋은 모델 공유 감사드립니다.
혹시 학습시 사용한 파라미터 공유가 가능하실까요?

@The-matt r 64 alpha 16 lr 1e-4로 LoRA로 훈련시켰습니다.

kfkas changed discussion status to closed

@kfkas
답변 감사드립니다!!
저도 lora로 시도중인데, loss가 뒤죽박죽이네요..
혹시 optimizer나 batch / microbatch size를 어떤걸 사용하셨는지 여쭤봐도될까요?

@The-matt
저도 훈련 결과 나중에는 loss가 터지긴 합니다..
bacth=4 / microbatch size 는 1을 사용하였고 옵티마이저는 기본 값을 사용하였습니다

@kfkas 감사합니다
신기하네요
저는 batch 사이즈를 2이상주면 loss가 터지더라구요.. 데이터셋의 차이인지..

확실히 LLM을 미세조정 하는것은 쉽지 않더군요
제 모델은 4에포크 훈련이라 가능하다면 1,2 에포크를 제공해주고 싶지만 파일이 날라갔네요..

Sign up or log in to comment