blip2zh-chatglm-6b

Model Card for blip2zh-chatglm-6b

Model Details

Model Description

blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。具有基本的图像理解能力。 由于blip2的训练方式不会对语言模型进行微调，因此在纯文本对话中的行为可以保持和原始chatglm一致。

注意：由于目前模型仅经过blip2两阶段图文对齐预训练，没有包括vqa或者指令微调等具体下游任务的训练，因此依然容易生成不符合预期的内容。

• blip2 base model: bert-base-chinese
• Vision encoder: eva-clip-vit-g
• Language model: chatglm-6b at commit

Model Sources

• Training Code: blip2训练代码，基于LAVIS
• webui: 一个由gradio实现的webui
• api: 一个由fastapi实现的api服务，可以部署在本地，同时也支持一些其他类型的本地可部署语言模型。

Uses

模型参数包含了图像编码器，blip2和chatglm-6b。

加载模型及推理可以参考api的实现

一些example

Limitations

受限于中文数据集，目前图像理解能力依然有限，会产生无关或者错误的内容。 目前没有引入多轮对话训练以及指令微调。多轮对话可能会受到上下文的干扰。 并且同样受限于chatglm-6b本身的对话效果。

Training Details

Training Data

• laion-2b-chinese: 我们仅选取了其中clip分数较高的670k图文对并采样了部分数据进行训练。
• coco-zh
• flickr8k-zh

Training Procedure

基于blip2的两阶段训练方法

Demos