DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4

介绍

This model is fork from VRxiaojie/DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4.

本模型是基于deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B转换成rkllm格式的模型的，已在香橙派5的RK3588S平台上成功运行。

在香橙派5上的部署教程：RKLLM部署语言大模型教程

运行环境

RKNPU Version: 0.9.8

RKNN-Toolkit : 1.1.4

官方镜像版Ubuntu 22.04 5.10.110

Orange Pi5 8G

如何部署

1. clone RKLLM仓库

本节参考RKLLM官方GitHub仓库文档的3.3节 编译生成llm_demo运行文件

首先在PC上clone官方git仓库

cd ~ && git clone https://github.com/airockchip/rknn-llm.git

请确保PC能正常连接至GitHub！

2. 生成llm_demo运行文件

先进入rkllm_api_demo文件夹

cd rknn-llm/examples/rkllm_api_demo

为了让模型正常工作，需要修改llm_demo.cpp的代码

vi src/llm_demo.cpp

将第24 25行修改为

#define PROMPT_TEXT_PREFIX "<｜begin▁of▁sentence｜>system 你是一名专业AI助手请遵循:1.用简体中文回答；2.中文翻译成英文时，需使用英文回答；3.展示思考过程 <｜User｜>"
#define PROMPT_TEXT_POSTFIX "<｜Assistant｜>"

你可以根据自己的需求自定义上面的提示词内容，只要修改PROMPT_TEXT_PREFIX的 <｜begin▁of▁sentence｜>system到<｜User｜>之间的内容。

将第184行取消注释

text = PROMPT_TEXT_PREFIX + input_str + PROMPT_TEXT_POSTFIX;

接着注释第185行

// text = input_str;

然后运行脚本文件

bash ./build-linux.sh

在开发板创建rkllm文件夹

mkdir ~/rkllm && cd ~/rkllm

使用ADB或SFTP或其他方法将build/build_linux_aarch64_Release/下的llm_demo上传至开发板的rkllm文件夹内。

3.上传librkllmrt.so运行库

在开发板新建lib文件夹

cd ~/rkllm && mkdir lib

使用ADB或SFTP或其他方法将rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64下的librkllmrt.so上传至开发板的rkllm/lib文件夹内。

4. 在PC安装git fls

git lfs install

5. 在PC clone本仓库

git clone https://huggingface.co/VRxiaojie/DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4

6. 将模型上传到开发板

使用ADB或其他工具将DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4文件夹内的deepseek-r1-1.5B-rkllm1.1.4.rkllm 上传至开发板刚刚创建的rkllm文件夹下

7.模型推理

首先指定库函数路径

export LD_LIBRARY_PATH=./lib

运行llm_demo

./llm_demo ./deepseek-r1-1.5B-rkllm1.1.4.rkllm 2048 2048

用法:./llm_demo model_path max_new_tokens max_context_len

等待几秒钟，等模型加载完毕后，在user:后输入对话内容即可。