Downloads · 30 days
0
zgce/Skywork-13B-spicy-lora
Skywork-13B-spicy-lora is a machine learning model from zgce. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
这个使用了spicy数据集,外加google翻译了其中的30%的数据组成了新的数据集 在 Skywork-13B-unalign-lora 基础上继续训练出来的,如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。
Downloads · 30 days
0
Access
Public
Updated Dec 9, 2023
Repo size
1.2 GB
Likes
0
Public
Click a slice to open those files.
.bin1.2 GB · 99%
From the Hugging Face model README
这个使用了spicy数据集,外加google翻译了其中的30%的数据组成了新的数据集 在 Skywork-13B-unalign-lora 基础上继续训练出来的,如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。
模型使用了Skywork-13B-Base-8bits 为底模进行的训练
整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时 由于显存有限,在训练时先用了--cutoff_len 1024 不知道会有什么影响