Model giving same noisy output for every query.
#1
by
dingusagar
- opened
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceH4/zephyr-7b-beta")
model = AutoModelForCausalLM.from_pretrained("OPTML-Group/SimNPO-WMDP-zephyr-7b-beta")
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
def prompt(text):
response = pipe(text, max_length=50, num_return_sequences=1)
return response
prompt("how are you")
# [{'generated_text': "how are you incorporating self-care into your routine?'liferay /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/"}]
prompt("explain why the sky is blue. The sky is blue because")
# [{'generated_text': 'explain why the sky is blue. The sky is blue because /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/ /******/'}]
did the model collapse to just giving this particular token for everything?