Hugging Face's logo

zgce
/
acsr-y34b-4bpw-hb6-exl2

Text Generation
Transformers
llama
Inference Endpoints
Model card Files Community
1
zgce commited on
Commit
32d06cc
•
1 Parent(s): 5b718b2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -4
README.md CHANGED
@@ -3,14 +3,15 @@ license: mit
3
  ---
4
 
5
  这是以Yi-34B-Llama为底座重新合并的模型，原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行，所以使用与LoRA相配套的底座重新合并。
6
- 这个底座是4096上下文，按照Y34B原本的说法推理时支持最大32K上下文(Alpha 8)，本人推建8K上下文(Alpha 2.5)。
 
7
 
8
  ### acsr-y34b-4bpw-hb6-exl2
9
 
10
  - base model: [Yi-34B-Llama](https://huggingface.co/chargoddard/Yi-34B-Llama)
11
- - LoRA: [Yi-34b-alpaca-cot-lora](https://huggingface.co/zzlgreat/Yi-34b-alpaca-cot-lora)
12
- - LoRA: [Yi-34B-Spicyboros-3.1-LoRA](https://huggingface.co/LoneStriker/Yi-34B-Spicyboros-3.1-LoRA)
13
- - LoRA: [limarpv3-yi-llama-34b-lora](https://huggingface.co/Doctor-Shotgun/limarpv3-yi-llama-34b-lora)
14
 
15
  ### description
16
 
 
3
  ---
4
 
5
  这是以Yi-34B-Llama为底座重新合并的模型，原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行，所以使用与LoRA相配套的底座重新合并。
6
+ 底座是4096上下文，按照Y34B原本的说法推理时支持最大32K上下文(Alpha 8)，本人推建8K上下文(Alpha 2.5)。
7
+ 这次合并我改了下LoRA合并的顺序，将limarpv3切到最后合并。
8
 
9
  ### acsr-y34b-4bpw-hb6-exl2
10
 
11
  - base model: [Yi-34B-Llama](https://huggingface.co/chargoddard/Yi-34B-Llama)
12
+ - LoRA: [Yi-34b-alpaca-cot-lora](https://huggingface.co/zzlgreat/Yi-34b-alpaca-cot-lora) 支持Alpaca格式
13
+ - LoRA: [Yi-34B-Spicyboros-3.1-LoRA](https://huggingface.co/LoneStriker/Yi-34B-Spicyboros-3.1-LoRA) 非官方对话数据集
14
+ - LoRA: [limarpv3-yi-llama-34b-lora](https://huggingface.co/Doctor-Shotgun/limarpv3-yi-llama-34b-lora) 扮演类长回复
15
 
16
  ### description
17