Downloads · 30 days
13
2% of all-time downloads
TianliGPT
Tianli0/TianliGPT
TianliGPT is a machine learning model from Tianli0. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
TianliGPT微调大模型，专为生成摘要任务设计，旨在实现低成本AI摘要生成。该模型在qwen2基础上进行了参数微调，以提高摘要生成的质量和效率。
All-time downloads
773
Public
Repo size
11.6 GB
Likes
2
Public
Repo makeup
Click a slice to open those files.
.gguf11.6 GB · 100%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Jul 22, 2024
- Updated
- Jul 27, 2024
- SHA
- f554d778
Model card
From the Hugging Face model README
TianliGPT微调大模型
简介
TianliGPT微调大模型，专为生成摘要任务设计，旨在实现低成本AI摘要生成。该模型在qwen2基础上进行了参数微调，以提高摘要生成的质量和效率。
预训练模型
为什么是qwen2而不是其他？
使用qwen2预训练模型，qwen2预训练模型在低参量情况下综合表现非常好，因此使用qwen2作为预训练模型。
部署方法
所有模型你都可以在这里找到：TianliGPT Ollama
我们推荐使用ollama来部署TianliGPT模型：
-
对于较小规模的摘要任务，推荐使用5w参数的1.5B模型：
ollama run Tianli0/tianligpt-5w-1.5b -
对于需要处理更多数据的摘要任务，可以使用7B模型
ollama run Tianli0/tianligpt-7w-7b
特点
-
模型命名规则：模型名称中的
5k或5w表示微调训练参数的数量，1.5B或7B表示模型的基础参数量。参数量越低，模型体积越小，生成速度越快，但可能影响生成质量。 -
资源消耗：大模型需要较高的GPU计算资源。我们提供了低成本的TianliGPT摘要服务，使用更强大的AI大模型，支持数据管理，无需手动修改，无需人工介入，助力您实现低代码或0代码的AI接入： TianliGPT
-
更多AI功能：PostChat平台提供了AI问答、搜索和摘要等功能，帮助您在网站中更全面地利用AI技术： PostChat
模型性能
以下是不同模型的性能概览（均为F16模型，请自行量化）：
| 模型名称 | 基础模型 | 调优数据量 | 性能特点 |
|---|---|---|---|
| tianliGPT-7w-0.5B | qwen2-0.5B | 70k条 | 设备要求低，容易被误导，准确性需自行测试是否符合需求 |
| tianliGPT-5k-1.5B | qwen2-1.5B | 5k条筛选 | 设备要求较低，但准确性有待提高 |
| tianliGPT-5w-1.5B | qwen2-1.5B | 50k条 | 设备要求较低，短文本摘要较准确，长文本准确性下降 |
| tianliGPT-5k-7B | qwen2-7B | 5k条筛选 | 设备要求较高，无误导情况下摘要较准确，生成速度较慢，模型下载移步：Tianli0/tianligpt-5k-7b (ollama.com) |
| tianliGPT-7w-7B | qwen2-7B | 70k条 | 设备要求较高，摘要较为准确，建议显存大小至少8GB |
使用建议：部署后您需要多次尝试修改Prompt使AI能输出更加符合您需求的摘要，同时需要注意截取字符数量。
Github
- 欢迎访问follow我的github账号： TIANLI0
- License
- apache-2.0
- Languages
- zh
- Created
- Jul 22, 2024
- Updated
- Jul 27, 2024