equiav

EquiAV 项目设置与使用指南

1. 🚀 安装与设置

1. 克隆仓库

首先，克隆本项目的 Git 仓库：

2. 下载预训练权重

您需要下载两个预训练模型权重文件，并将它们放置在指定位置。

• MAE 权重:

  • 下载链接: https://dl.fbaipublicfiles.com/mae/pretrain/mae_pretrain_vit_base.pth
  • 放置路径: ./pretrained_weights/mae_pretrain_vit_base.pth (请确保 pretrained_weights 目录存在)

• EquiAV 权重:

  • 下载链接: https://docs.google.com/uc?export=download&id=1QCvBcu-CAXFLKqfk0G7niO2JO5kf74K6
  • 放置路径: ./EquiAV_pretrained.pth (放置在项目根目录)

3. 准备视频数据

• 创建一个文件夹，用于存放您所有待处理的 .mp4 视频文件。
• 例如，您可以将它们放在：/root/autodl-tmp/EquiAV/data_right

---

2. 🏃‍♂️ 运行步骤

1. 运行视频预处理 (process_video.py)

此脚本用于从您的 MP4 视频中提取帧。

• 运行命令:

  python ./process_video.py
  

• [!] 重要： 在运行之前，您必须打开并修改 ./process_video.py 文件中的配置路径：

  # 1. mp4 文件所在的目录
  SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right'
  
  # 2. 存储提取的帧的目录
  TARGET_DIR = '/root/autodl-tmp/right_frames' 
  
  # 3. 每个视频提取的帧数 (根据 EquiAV 论文)
  NUM_FRAMES = 10
  

2. 运行匹配度判断 (judg.py)

此脚本将加载提取的帧和视频，使用 EquiAV 模型计算匹配分数，并将结果保存为 .json 文件。

• 运行命令:

  python ./judg.py
  

• [!] 重要： 在运行之前，您必须打开并修改 ./judg.py 文件中的配置：

  # 包含 _frames 目录的路径，也是 .json 文件的输出路径
  FRAME_DATA_DIR = '/root/autodl-tmp/right_frames' 
  # 包含 .mp4 文件的源目录 (将进行递归搜索)
  VIDEO_SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right' 
  # 你的模型 .pth 文件路径
  MODEL_PATH = '/root/autodl-tmp/EquiAV/EquiAV_pretrained.pth' 
  
  # [!] 关键：运行时的批处理大小。
  RUN_BATCH_SIZE = 1 # 如果显存不足 (OOM)，请减小此值
  
  # [!] 预处理脚本使用的帧目录后缀
  FRAME_DIR_SUFFIX_FROM_PREPROCESS = '_frames'