chinese-clip-finetuned

MaterialSearch - 多模态图文搜索平台

这是一个基于Chinese-CLIP多模态模型的图文搜索Web应用，能够实现中文图像搜索、语义匹配和内容推荐功能。

项目概述

MaterialSearch平台包含两个主要部分：

1. Web应用前后端：提供用户界面，处理搜索请求，展示搜索结果
2. 模型训练部分：使用Chinese-CLIP模型进行微调，优化图文匹配能力

项目结构

MaterialSearch/
├── model_training/           # 模型训练相关代码和数据
│   ├── Chinese-CLIP/         # Chinese-CLIP官方代码
│   ├── scripts/              # 训练和数据处理脚本
│   │   ├── convert_private_data.py   # 私有数据转换脚本
│   │   ├── train_pipeline.sh         # 完整训练流水线脚本
│   │   ├── setup_environment.sh      # 环境设置脚本
│   │   ├── download_models.sh        # 下载预训练模型脚本
│   │   ├── download_datasets.sh      # 下载数据集脚本
│   │   ├── start_training.sh         # 启动训练脚本
│   │   └── check_status.sh           # 检查训练状态脚本
│   ├── experiments/          # 实验结果保存目录
│   ├── data/                 # 模型训练数据目录
│   │   ├── private_dataset/  # 私有图文数据集
│   │   ├── MUGE/             # MUGE数据集（云端）
│   │   └── Flickr30k-CN/     # Flickr30k-CN数据集（云端）
│   ├── models/               # 模型文件目录
│   │   └── pretrained_weights/ # 预训练权重
│   └── README.md             # 模型训练文档
├── data/                     # 应用数据目录
├── static/                   # 静态资源
│   ├── css/                  # 样式文件
│   └── js/                   # JavaScript文件
├── templates/                # HTML模板
├── uploads/                  # 用户上传文件
├── models/                   # 应用模型文件
├── main.py                   # 主应用入口
├── search.py                 # 搜索逻辑实现
├── scan.py                   # 图像扫描处理
├── models.py                 # 数据模型定义
├── utils.py                  # 工具函数
├── database.py               # 数据库操作
└── requirements.txt          # 依赖包列表

核心功能

1. 图像搜索：输入文字，返回匹配的图片
2. 语义理解：基于中文语境的图文语义匹配
3. 多模态检索：支持图到文、文到图的双向检索
4. 模型微调：支持使用自定义数据集优化模型

技术栈

• 前端：HTML, CSS, JavaScript
• 后端：Flask, Python
• 模型：Chinese-CLIP (ViT-B/16 + RoBERTa-wwm-ext-Base)
• 数据库：SQLite/SQLAlchemy
• 部署：可部署在本地服务器或云服务器环境

安装与使用

1. 克隆仓库

git clone https://github.com/Chien317/MaterialSearch.git
cd MaterialSearch

1. 安装依赖

pip install -r requirements.txt

1. 运行Web应用

python main.py

云服务器训练配置

由于模型训练需要CUDA支持，我们在Alibaba Cloud服务器上配置了训练环境：

• 服务器IP: 120.77.9.148
• GPU: Tesla V100
• 连接方式: SSH密钥认证（无需密码）

连接服务器：

ssh [email protected]

模型训练在云服务器上按照以下流程进行：

1. 使用MUGE数据集微调预训练模型
2. 使用Flickr30k-CN数据集进一步微调
3. 最后使用私有标注数据集（146张图片）进行精细微调

训练完成后，最佳模型将被用于Web应用的图文搜索功能。

模型训练与优化

详细的模型训练说明请参见 模型训练文档。

测试和评估

运行基准测试以评估搜索性能：

python benchmark.py

许可

MIT License