MLP-KTLim

/

llama-3-Korean-Bllossom-8B

like 251

안녕하세요.
우선 좋은 모델 만들어 주셔서 감사합니다.

파인튜닝을 좀 해보려고 하는데, 기존 파인튜닝 방법으로는 잘 되지 않더라구요.
(다른 Llama3 기반 한국어 모델들은 튜닝이 되는데...)
혹시 입력 컨텍스트가 조금 다른가 해서 질문 드립니다.

# 입력 dataset
{'text': '<s>[INST] 라이브 스트리밍이란? [/INST] Live Streaming은 방송 현장에서 중계되는 영상이나 이미 편성된 동영상 미디어 파일을 사용자에게 실시간으로 전송하는 서비스입니다.\\n주로 스포츠 중계, 온라인 교육, 개인 방송, 메타버스, 라이브 커머스 등의 서비스에 사용합니다. </s>'}

# 파인튜닝 후, 추론
[{'generated_text': '<s>[INST] 라이브 스트리밍이란 [/INST]<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s<s'}]

관련하여 간단하게 파인튜닝 가능한 dataset 이나 아니면, 소스코드 공개가 가능할까요?