Downloads · 30 days
14
37% of all-time downloads
Curry33333/rwkv-nepa-imagenet1k-pretrain-1600ep
rwkv-nepa-imagenet1k-pretrain-1600ep is a machine learning model from Curry33333. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
本仓库保存 RWKV-NEPA 在 ImageNet-1K 上完成 1600 epoch 预训练后的最终权重。
Downloads · 30 days
14
37% of all-time downloads
All-time downloads
38
Public
Parameters
92.6M
370 MB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors370 MB · 100%
From the Hugging Face model README
本仓库保存 RWKV-NEPA 在 ImageNet-1K 上完成 1600 epoch 预训练后的最终权重。
checkpoint-500800RwkvNepaForPreTrainingrwkv_nepa4.8e-30.0250.05(0.9, 0.95)对最终 checkpoint 使用固定的 ImageNet-1K 图像集合进行了确定性的 forward-only 测试,结果如下:
outputs.loss:-0.99193190410.0000689841在 NEPA 的预训练目标中,raw loss 越低、越接近 -1,表示模型对该预训练目标的拟合越充分。
model.safetensors:RWKV-NEPA 完成 1600 epoch 预训练后的最终模型权重config.json:模型结构配置本仓库未上传 optimizer、scheduler、随机状态和中间 checkpoint。这些文件仅用于恢复训练,不影响对最终模型权重和结构的检查。
该模型依赖项目中的自定义 RWKV-NEPA 实现。若需要加载模型或进行下游评估,请使用与本模型对应的 RWKV-NEPA 代码。