trust_remote_code=True请教下这个是要访问huggingface吗？
为啥要访问呢？如果不能访问是不是就不能用啊？
是否访问huggingface是看你pretrained_model_name_or_path 参数。如果是路径则不访问，如果是模型id则访问。
日志显示部署成功了，但是web_demo启动就是不行，上面的截图。
Running on local URL: http://0.0.0.0:8912
To create a public link, set share=True in launch().
提问的时候有什么log吗
我电脑访问不了huggingface，但模型给的就是路径。
tokenizer = AutoTokenizer.from_pretrained("conf/models/chatglm-6b/",cache_dir="conf/models/", trust_remote_code=True)
model = AutoModel.from_pretrained("conf/models/chatglm-6b/", cache_dir="conf/models/",trust_remote_code=True).half().cuda()
你这个的本地路径，你模型和其它配置文件下了吗
提问后就一直等待了，nohup python web_demo.py &启动的
nohup.out 没有报错日志。
Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Explicitly passing a revision is encouraged when loading a configuration with custom code to ensure no malicious code has been contributed in a newer revision.
Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Loading checkpoint shards: 100%|██████████| 8/8 [00:06<00:00, 1.14it/s]
ls -lht conf/models/chatglm-6b/
总用量 13G
-rw-r--r-- 1 root root 441 9月 21 15:05 tokenizer_config.json
-rw-r--r-- 1 root root 17K 9月 21 15:05 tokenization_chatglm.py
-rw-r--r-- 1 root root 14K 9月 21 15:05 test_modeling_chatglm.py
-rw-r--r-- 1 root root 15K 9月 21 15:05 quantization.py
-rw-r--r-- 1 root root 33K 9月 21 15:05 pytorch_model.bin.index.json
-rw-r--r-- 1 root root 1020M 9月 21 15:05 pytorch_model-00008-of-00008.bin
-rw-r--r-- 1 root root 1.1G 9月 21 15:04 pytorch_model-00007-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:04 pytorch_model-00006-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:03 pytorch_model-00005-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:02 pytorch_model-00004-of-00008.bin
-rw-r--r-- 1 root root 1.9G 9月 21 15:02 pytorch_model-00003-of-00008.bin
-rw-r--r-- 1 root root 1.8G 9月 21 15:01 pytorch_model-00002-of-00008.bin
-rw-r--r-- 1 root root 1.7G 9月 21 15:00 pytorch_model-00001-of-00008.bin
-rw-r--r-- 1 root root 57K 9月 21 15:00 modeling_chatglm.py
-rw-r--r-- 1 root root 2.6M 9月 21 15:00 ice_text.model
-rw-r--r-- 1 root root 4.2K 9月 21 15:00 configuration_chatglm.py
-rw-r--r-- 1 root root 773 9月 21 15:00 config.json
-rw-r--r-- 1 root root 5.9K 9月 21 15:00 README.md
-rw-r--r-- 1 root root 2.3K 9月 21 15:00 MODEL_LICENSE
-rw-r--r-- 1 root root 12K 9月 21 15:00 LICENSE
电脑配置是咋样的，内存和显存大小。
试试在项目下创建一个py文件，
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("conf/models/chatglm-6b/", trust_remote_code=True)
model = AutoModel.from_pretrained("conf/models/chatglm-6b/", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)
然后运行，看看会不会出结果或者报错。
from_pretrained("", local_files_only=True)
感谢回复。