Create README.md

README.md

@@ -0,0 +1,48 @@
+# Fauno - Italian LLM 
+
+
+## Model initialization
+```python
+from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig
+from peft import PeftModel
+
+tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
+model = LlamaForCausalLM.from_pretrained(
+    "decapoda-research/llama-7b-hf",
+    load_in_8bit=True,
+    device_map="auto",
+)
+model = PeftModel.from_pretrained(model, "andreabac3/Fauno-Italian-LLM-7B")
+model.eval()
+```
+
+## Inference
+```python
+def evaluate(question: str) -> str:
+    prompt = f"The conversation between human and AI assistant.\n[|Human|] {question}.\n[|AI|] "
+    inputs = tokenizer(prompt, return_tensors="pt")
+    input_ids = inputs["input_ids"].cuda()
+    generation_output = model.generate(
+        input_ids=input_ids,
+        generation_config=generation_config,
+        return_dict_in_generate=True,
+        output_scores=True,
+        max_new_tokens=256
+    )
+    output = tokenizer.decode(generation_output.sequences[0]).split("[|AI|]")[1]
+    return output
+
+your_question: str = "Qual'è il significato della vita?"
+print(evaluate(your_question))
+```
+
+### Output 
+```
+Il senso della vita è una domanda che molte persone hanno cercato di rispondere per secoli.
+Alla fine, il senso della vita è soggettivo e varia da persona a persona.
+Alcune persone credono che il senso della vita sia trovare la felicità, mentre altre credono che sia raggiungere i propri obiettivi o aiutare gli altri.
+Alla fine, il senso della vita è determinato dall'individuo e dai loro valori e credenze.
+In definitiva, il senso della vita è qualcosa che ognuno deve trovare da solo.
+Non c'è una risposta giusta o sbagliata, poiché ogni persona ha le proprie convinzioni e credenze.
+La ricerca del senso della vita può essere un viaggio lungo e difficile, ma vale la pena perseguire.
+```