Downloads · 30 days
5
2% of all-time downloads
zgce/acsr-y34b-4bpw-hb6-exl2
acsr-y34b-4bpw-hb6-exl2 is a text generation model from zgce. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
这是以Yi-34B-Llama为底座重新合并的模型,原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行,所以使用与LoRA相配套的底座重新合并。 底座是4096上下文,按照Y34B原本的说法推理时支持最大32K上下文(Alpha 8),本人推建8K上下文(Alpha 2.5)。 这次合并我改了下LoRA合并的顺序,将limarpv3切到最后合并。
Downloads · 30 days
5
2% of all-time downloads
All-time downloads
306
Public
Repo size
18.7 GB
Likes
1
Public
Click a slice to open those files.
.safetensors18.7 GB · 100%
From the Hugging Face model README
这是以Yi-34B-Llama为底座重新合并的模型,原本200K上下文底座在合并了几个非200K上下文LoRA后的效果好象不太行,所以使用与LoRA相配套的底座重新合并。 底座是4096上下文,按照Y34B原本的说法推理时支持最大32K上下文(Alpha 8),本人推建8K上下文(Alpha 2.5)。 这次合并我改了下LoRA合并的顺序,将limarpv3切到最后合并。
python convert.py -i acsr-y34b -c exl2/0000.parquet -o acsr-y34b-4bpw-hb6-exl2 -hb 6 -l 4096 -b 4.15--trust-remote-code into CMD_FLAGS.txt and use ExLlamav2 to load model