Megrez-3B-Omni

Megrez-3B-Omni: 首个端侧全模态理解开源模型

<p align="center"> <img src="assets/megrez_logo.png" width="400"/> <p> <p align="center"> 🔗 <a href="https://github.com/infinigence/Infini-Megrez-Omni">GitHub</a>&nbsp&nbsp | &nbsp&nbsp🏠 <a href="https://huggingface.co/spaces/Infinigence/Megrez-3B-Omni">Demo</a>&nbsp&nbsp | &nbsp&nbsp📖 <a href="assets/png/wechat-official.jpg">WeChat Official</a>&nbsp&nbsp | &nbsp&nbsp💬 <a href="assets/wechat-group.jpg">WeChat Groups</a>&nbsp&nbsp </p> <h4 align="center"> <p> <b>中文</b> | <a href="https://huggingface.co/Infinigence/Megrez-3B-Omni/blob/main/README_EN.md">English</a> <p> </h4>

模型简介

Megrez-3B-Omni是由无问芯穹（Infinigence AI）研发的端侧全模态理解模型，基于无问大语言模型Megrez-3B-Instruct扩展，同时具备图片、文本、音频三种模态数据的理解分析能力，在三个方面均取得最优精度

• 在图像理解方面，基于SigLip-400M构建图像Token，在OpenCompass榜单上（综合8个主流多模态评测基准）平均得分66.2，超越LLaVA-NeXT-Yi-34B等更大参数规模的模型。Megrez-3B-Omni也是在MME、MMMU、OCRBench等测试集上目前精度最高的图像理解模型之一，在场景理解、OCR等方面具有良好表现。
• 在语言理解方面，Megrez-3B-Omni并未牺牲模型的文本处理能力，综合能力较单模态版本（Megrez-3B-Instruct）精度变化小于2%，保持在C-EVAL、MMLU/MMLU Pro、AlignBench等多个测试集上的最优精度优势，依然取得超越上一代14B模型的能力表现
• 在语音理解方面，采用Qwen2-Audio/whisper-large-v3的Encoder作为语音输入，支持中英文语音输入及多轮对话，支持对输入图片的语音提问，根据语音指令直接响应文本，在多项基准任务上取得了领先的结果

基础信息

<table> <thead> <tr> <th></th> <th>Language Module</th> <th>Vision Module</th> <th>Audio Module</th> </tr> </thead> <tbody> <tr> <td>Architecture</td> <td>Llama-2 with GQA</td> <td>SigLip-SO400M</td> <td>Whisper-large-v3 (encoder-only)</td> </tr> <tr> <td># Params (Backbone)</td> <td>2.29B</td> <td>0.42B</td> <td>0.64B</td> </tr> <tr> <td>Connector</td> <td>-</td> <td>Cross Attention</td> <td>Linear</td> </tr> <tr> <td># Params (Others)</td> <td>Emb: 0.31B<br>Softmax: 0.31B</td> <td>Connector: 0.036B</td> <td>Connector: 0.003B</td> </tr> <tr> <td># Params (Total)</td> <td colspan="3">4B</td> </tr> <tr> <td># Vocab Size</td> <td>122880</td> <td>64 tokens/slice</td> <td>-</td> </tr> <tr> <td>Context length</td> <td colspan="3">4K tokens</td> </tr> <tr> <td>Supported languages</td> <td colspan="3">Chinese & English</td> </tr> </tbody> </table>

图片理解能力

• 上图为Megrez-3B-Omni与其他开源模型在主流图片多模态任务上的性能比较
• 下图为Megrez-3B-Omni在OpenCompass测试集上表现，图片引用自： InternVL 2.5 Blog Post

<!-- <div style="display: flex; justify-content: space-between;"> <img src="assets/multitask.jpg" alt="Image 1" style="width: 45%;"> <img src="assets/opencompass.jpg" alt="Image 2" style="width: 45%;"> </div> -->

文本处理能力

注：Qwen2-1.5B模型的指标在论文和Qwen2.5报告中点数不一致，当前采用原始论文中的精度

语音理解能力

速度

实验设置：

• 测试环境：NVIDIA H100，vLLM下输入128个Text token和一张1480x720大小图片，输出128个token，num_seqs固定为8
• Qwen2-VL-2B虽然其具备更小尺寸的基座模型，但编码上述大小图片后的image_token相较Megrez-3B-Omni多很多，导致此实验下的decode速度小于Megrez-3B-Omni

快速上手

在线体验

HF Chat Demo

本地部署

环境安装和vLLM推理代码等部署问题可以参考 Infini-Megrez-Omni

如下是一个使用transformers进行推理的例子，通过在content字段中分别传入text、image和audio，可以图文/图音等多种模态和模型进行交互。

import torch
from transformers import AutoModelForCausalLM

path = "{{PATH_TO_PRETRAINED_MODEL}}"  # Change this to the path of the model.

model = (
    AutoModelForCausalLM.from_pretrained(
        path,
        trust_remote_code=True,
        torch_dtype=torch.bfloat16,
        attn_implementation="flash_attention_2",
    )
    .eval()
    .cuda()
)

# Chat with text and image
messages = [
    {
        "role": "user",
        "content": {
            "text": "Please describe the content of the image.",
            "image": "./data/sample_image.jpg",
        },
    },
]

# Chat with audio and image
messages = [
    {
        "role": "user",
        "content": {
            "image": "./data/sample_image.jpg",
            "audio": "./data/sample_audio.m4a",
        },
    },
]

MAX_NEW_TOKENS = 100
response = model.chat(
    messages,
    sampling=False,
    max_new_tokens=MAX_NEW_TOKENS,
    temperature=0,
)
print(response)

注意事项

1. 请将图片尽量在首轮输入以保证推理效果，语音和文本无此限制，可以自由切换
2. 语音识别（ASR）场景下，只需要将content['text']修改为“将语音转化为文字。”
3. OCR场景下开启采样可能会引入语言模型幻觉导致的文字变化，可考虑关闭采样进行推理（sampling=False），但关闭采样可能引入模型复读

开源协议及使用声明

• 协议：本仓库中代码依照 Apache-2.0 协议开源。
• 幻觉：大模型天然存在幻觉问题，用户使用过程中请勿完全相信模型生成的内容。
• 价值观及安全性：本模型已尽全力确保训练过程中使用的数据的合规性，但由于数据的大体量及复杂性，仍有可能存在一些无法预见的问题。如果出现使用本开源模型而导致的任何问题，包括但不限于数据安全问题、公共舆论风险，或模型被误导、滥用、传播或不当利用所带来的任何风险和问题，我们将不承担任何责任。