Foi o que deu mais trabalho e o requirements.txt nao ta corretamente gerado. Em vez disso vou falar o que eu usei.

Primeiro, maior trampo é no windows, e com a versão atualizada do CUDA. Na época que fiz nao rolava o 1.2.2 com o torch, instalei a versão 1.2.1 da envidia, e pareei com o torch:
torch                     2.1.0.dev20230806+cu121

Auto-gptq, não tem suporte pra windows, tem que pegar um específico pra windows, vai ter qu fuçar memo
auto-gptq                 0.3.2+cu121

bitsandbytes nem lembro qual era o BO, mas tinha, ou era windows ou era CUDA
bitsandbytes              0.41.0

outros que deu trampo:
peft                      0.5.0.dev0
transformers              4.32.0.dev0

Acredito qu enão vao precisar de tudo isso e vão ter menos trabalho do que eu :)