Update app.py

app.py

@@ -16,12 +16,12 @@ llm = LlmBackend()
 _lock = threading.Lock()
     
 SYSTEM_PROMPT = os.environ.get('SYSTEM_PROMPT') or "Ты — русскоязычный автоматический ассистент. Ты максимально точно и отвечаешь на запросы пользователя, используя русский язык."
-CONTEXT_SIZE = os.environ.get('CONTEXT_SIZE') or 500
+CONTEXT_SIZE = int(os.environ.get('CONTEXT_SIZE')) or 500
 HF_CACHE_DIR = os.environ.get('HF_CACHE_DIR') or '/home/user/app/.cache'
-USE_SYSTEM_PROMPT = os.environ.get('USE_SYSTEM_PROMPT') or False
-ENABLE_GPU = os.environ.get('ENABLE_GPU') or False
-GPU_LAYERS = os.environ.get('GPU_LAYERS') or 0
-N_GQA = os.environ.get('N_GQA') or None #must be set to 8 for 70b models
+USE_SYSTEM_PROMPT = os.environ.get('USE_SYSTEM_PROMPT', '').lower() == "true" or False
+ENABLE_GPU = os.environ.get('ENABLE_GPU', '').lower() == "true" or False
+GPU_LAYERS = int(os.environ.get('GPU_LAYERS')) or 0
+N_GQA = int(os.environ.get('N_GQA')) or None #must be set to 8 for 70b models
 CHAT_FORMAT = os.environ.get('CHAT_FORMAT') or 'llama-2'
 REPO_NAME = os.environ.get('REPO_NAME') or 'IlyaGusev/saiga2_7b_gguf'
 MODEL_NAME = os.environ.get('MODEL_NAME') or 'model-q4_K.gguf'