Hugging Face's logo

zgce
/
acsr-y34b-4bpw-hb6-exl2

Text Generation
Transformers
llama
Inference Endpoints
Model card Files Community
1
zgce commited on
Commit
14a37c8
•
1 Parent(s): 921e0a1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -1
README.md CHANGED
@@ -2,7 +2,8 @@
2
  license: mit
3
  ---
4
 
5
- 这是以Yi-34B-Llama为底座重新合并的模型，原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行，所以使用与LoRA相配套的底座重新合并
 
6
 
7
  ### acsr-y34b-4bpw-hb6-exl2
8
 
 
2
  license: mit
3
  ---
4
 
5
+ 这是以Yi-34B-Llama为底座重新合并的模型，原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行，所以使用与LoRA相配套的底座重新合并。
6
+ 这个底座是4096上下文，按照Y34B原本的说法推理时支持最大32K上下文(Alpha 8)，推建8K上下文(Alpha 2.5)。
7
 
8
  ### acsr-y34b-4bpw-hb6-exl2
9