Downloads · 30 days
9
26% of all-time downloads
luoyuping/TRIP-PanGu1B-FFT
TRIP-PanGu1B-FFT is a machine learning model from luoyuping. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
TLAB-PanGu1B-FFT是基于openPangu-Embedded-1B-V1.1基座模型,通过全参数微调方法获得的专业化版本。该模型结合Alpaca(https://huggingface.co/datasets/tatsu-lab/alpaca)数据对模型进行instruction-tuning, 旨在提升模型知识理解与生成能力。
Downloads · 30 days
9
26% of all-time downloads
All-time downloads
34
Public
Parameters
1.2B
4.6 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors4.6 GB · 100%
From the Hugging Face model README
TLAB-PanGu1B-FFT是基于openPangu-Embedded-1B-V1.1基座模型,通过全参数微调方法获得的专业化版本。该模型结合Alpaca(https://huggingface.co/datasets/tatsu-lab/alpaca)数据对模型进行instruction-tuning, 旨在提升模型知识理解与生成能力。
1)知识理解与生成:结合Alpaca数据进行instruction-tuning,增强模型术语理解与文本生成能力;
2)全参数微调策略:采用完整的参数更新机制,充分学习数据特征,最大化模型的知识学习与适应能力;
3)端侧部署友好:在保持1B轻量级参数规模的同时,通过instruction-tuning提升在资源受限环境下的推理准确性;
openPangu-Embedded-1B-V1.1(https://gitee.com/hf-models/openPangu-Embedded-1B)
训练策略:有监督、全参数微调
核心贡献者:罗玉平、张宏刚(东南大学复杂交通网络研究中心)
支持团队:东南大学交通学院、东南大学统计与数据科学学院