qquf 제작 방법 관련
안녕하세요.
먼저 StarFox7/Llama-2-ko-7B-chat-gguf 만들어주셔서 아주 유용하게 잘 사용하고 있습니다.
다름이 아니라 제가 lora로 학습한 모델도 gguf를 만들고 싶은데 혹시 제작하는 방법을 공유해주실수 있을까요?
LLAMA.CPP에 있는 convert.py 를 이용하면 gguf 파일은 만들어지는데 load를 할 수 없어서 이것저것 시도했지만 되지 않아서요.
https://github.com/ggerganov/llama.cpp/issues/2865
죄송합니다만, 알려주시면 github에도 같이 수정사항 포인트를 공유할 수 있을것 같습니다.
부탁드리겠습니다.
llama cpp 의 최신 release 는 beta 이며 convert 및 inference 에 상당한 오류가 존재하고 있으며 stable version 까지는 시간이 더 필요합니다. 아래 대안을 추천드립니다.
- ggml 을 지원하는 llama cpp stable 버전(8월초 이전) 을 사용하여 대상 모델을 ggml 로 변환 후, ggml to gguf convertor 를 통해 gguf 로 변환하여 사용
@StarFox7
아 감사합니다. 예전 버전 가지고 있는게 있어서 말씀해주신것 처럼 진행을 하였는데 tokenizer.model 파일이 없다고 표시됩니다. 혹시 tokenizer.model을 만드는 방법을 알려주실수 있을까요? 거의 일주일째 여기서 헤매고 있습니다.ㅠㅠ
부탁드리겠습니다.
C:\AI\old_llama.cpp>python convert.py .\models\kfkas_Llama-2-ko-7b-Chat --outtype f16
Loading model file models\kfkas_Llama-2-ko-7b-Chat\pytorch_model-00001-of-00002.bin
Loading model file models\kfkas_Llama-2-ko-7b-Chat\pytorch_model-00001-of-00002.bin
Loading model file models\kfkas_Llama-2-ko-7b-Chat\pytorch_model-00002-of-00002.bin
Traceback (most recent call last):
File "C:\AI\old_llama.cpp\convert.py", line 1263, in <module>
main()
File "C:\AI\old_llama.cpp\convert.py", line 1251, in main
vocab = load_vocab(vocab_dir)
File "C:\AI\old_llama.cpp\convert.py", line 1187, in load_vocab
raise FileNotFoundError(
FileNotFoundError: Could not find tokenizer.model in models\kfkas_Llama-2-ko-7b-Chat or its parent; if it's in another directory, pass the directory as --vocab-dir
tokenizer.model 은 meta 에서 공개한 Llama2 의 tokenizer.model 을 그대로 사용하시면 됩니다.
변환하고자 하시는 kfkas_Llama-2-ko-7b-Chat 모델은 한국어를 추가한 tokenizer 를 사용하고 있으므로, 이를 반영하기 위해 kfkas_Llama-2-ko-7b-Chat 에서 Llama2 Tokenizer 에 추가한 Additional Token 만을 Json Format 으로 Export 하여 변환 대상 모델의 상위 폴더에 added_tokens.json 파일명으로 위치 시키면 됩니다.