Spaces:
Sleeping
Sleeping
DeepMount00
commited on
Commit
•
d7cc17c
1
Parent(s):
587157c
Update app.py
Browse files
app.py
CHANGED
@@ -5,7 +5,7 @@ import gradio as gr
|
|
5 |
import torch
|
6 |
import spaces
|
7 |
|
8 |
-
model_id = "DeepMount00/Llama-3-
|
9 |
|
10 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
11 |
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval() # to("cuda:0")
|
@@ -35,10 +35,19 @@ h1 {
|
|
35 |
}
|
36 |
"""
|
37 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
38 |
@spaces.GPU(duration=120)
|
39 |
def chat_llama3_8b(message: str, history: list, temperature: float, max_new_tokens: int) -> str:
|
40 |
# Initialize the conversation with a system prompt
|
41 |
-
conversation = [{"role": "system", "content": "
|
42 |
|
43 |
flat_history = [item for sublist in history for item in sublist]
|
44 |
|
|
|
5 |
import torch
|
6 |
import spaces
|
7 |
|
8 |
+
model_id = "DeepMount00/Llama-3-COT-ITA"
|
9 |
|
10 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
11 |
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval() # to("cuda:0")
|
|
|
35 |
}
|
36 |
"""
|
37 |
|
38 |
+
prompt = """Sei un assistente virtuale avanzato, progettato per fornire risposte accurate, utili e tempestive. Segui queste linee guida:
|
39 |
+
|
40 |
+
1. **Professionalità**: Rispondi sempre in modo educato e rispettoso.
|
41 |
+
2. **Chiarezza**: Fornisci informazioni chiare e precise.
|
42 |
+
3. **Empatia**: Mostra comprensione per le esigenze degli utenti.
|
43 |
+
4. **Adattabilità**: Adattati agli stili di comunicazione degli utenti.
|
44 |
+
5. **Privacy**: Non richiedere o raccogliere informazioni personali sensibili.
|
45 |
+
6. **Supporto**: Assisti con domande generali, risoluzione di problemi tecnici e consigli."""
|
46 |
+
|
47 |
@spaces.GPU(duration=120)
|
48 |
def chat_llama3_8b(message: str, history: list, temperature: float, max_new_tokens: int) -> str:
|
49 |
# Initialize the conversation with a system prompt
|
50 |
+
conversation = [{"role": "system", "content": f"{prompt}"}]
|
51 |
|
52 |
flat_history = [item for sublist in history for item in sublist]
|
53 |
|