FROM ghcr.io/ggerganov/llama.cpp:server-cuda

ENV LLAMA_ARG_N_GPU_LAYERS=9999
ENV LLAMA_ARG_CTX_SIZE=10000
ENV LLAMA_ARG_FLASH_ATTN=1
ENV LLAMA_ARG_HF_REPO=bartowski/Qwen2.5-Coder-14B-GGUF
ENV LLAMA_ARG_HF_FILE=Qwen2.5-Coder-14B-Q4_K_M.gguf
ENV LLAMA_ARG_N_PARALLEL=2
ENV LLAMA_ARG_PORT=7860
ENV LLAMA_ARG_HOST=0.0.0.0

RUN useradd -m -u 1000 user
USER user