Downloads · 30 days
63
0% of all-time downloads
YeungNLP/firefly-llama2-13b
firefly-llama2-13b is a text generation model from YeungNLP. Use it when you need the model to write or continue text. It is set up for transformers.
firefly-llama2-13b模型,目前在Open LLM排行榜上,以62分的成绩,在所有13B模型中排名第三,且仅比榜首略低0.5分。
Downloads · 30 days
63
0% of all-time downloads
All-time downloads
53.9K
Public
Repo size
52.1 GB
Likes
19
Public
Click a slice to open those files.
.bin26 GB · 100%
From the Hugging Face model README
firefly-llama2-13b模型,目前在Open LLM排行榜上,以62分的成绩,在所有13B模型中排名第三,且仅比榜首略低0.5分。
该模型是个英文模型,仅使用英文数据训练,未针对中文扩充词表
值得注意的是,我们采用了qlora技术,比其他排名前列的模型,需要更少的训练资源,24G的显卡即可训练百亿模型。
训练代码以及更多细节,欢迎关注我们的开源中文大模型项目Firefly, 以及公众号【YeungNLP】

