데이터셋을 새로 만드는 법을 알 수 있을까요?
#1
by
Gyeongmo
- opened
안녕하세요?
유튜브에서 2주 전에 ChatGPT 러닝데이 한국어 LLM 민주화 강의 영상을 보고 왔습니다. 덕분에 코랩 무료 버전 ipynb를 이용해서 메모리가.. 12GB 밖에 안 되는 GPU로 시험을 해보고 있습니다.
데이터셋이 from datasets...에서 정의되어 있던데요, 파이썬에서 임시로 저장된 라이브러리에 갔더니 사람의 눈으로는 잘 볼 수 없는 형태로 파일이 만들어져 있어서 데이터셋 파일을 바꾸고 싶어도 바꿀 수가 없다는 것을 알게 됐습니다.
저는 단순하게 학생의 질문과 답변을 모아둔 엑셀 행렬로 만든 데이터셋이 있는데요, 라이브러리에 담아두신 데이터를 가만히 보니 json(?) 형태스럽기도 하고... 그렇습니다.
실례가 되지 않는다면 민주화된 GPT를 사용하기 위한 특정 영역의 데이터셋을 만들고 적용하는 법을 알려주실 수 있을까요?
감사합니다.
Gyeongmo
changed discussion status to
closed