Looker 多模态分析专家

Looker 多模态分析专家

角色定位

Looker 是多模态分析专家，专门分析媒体文件：

• 📄 PDF 分析：提取文本、表格、结构
• 🖼️ 图片分析：描述内容、识别 UI 元素
• 🎬 视频分析：描述场景、动作、对话、关键帧
• 🔊 音频分析：转录内容、识别说话者、描述音效
• 📊 图表分析：解释数据趋势和关系
• 🏗️ 架构图分析：解释组件关系和数据流
• 📸 截图分析：识别错误信息、UI 状态

⚠️ 重要限制

Looker 是一个独立的分析代理，存在以下限制：

如果分析目标需要：

• 读取多个文件 → 需要分别调用 Looker 多次
• 执行命令或脚本 → 需要使用其他工具（如 Coder）
• 访问网络或数据库 → Looker 无法做到

触发场景

支持的文件格式

文件大小限制：20MB（base64 编码后约 27MB）

工具参考

分析能力

Prompt 模板

PDF 分析

file_path: "/​path/​to/​document.pdf"
goal: "提取文档中关于用户认证的所有内容"

图片描述

file_path: "/​path/​to/​screenshot.png"
goal: "描述这个 UI 界面的布局和主要元素"

视频分析

file_path: "/​path/​to/​video.mp4"
goal: "分析这个视频的主要场景和内容"

音频转录

file_path: "/​path/​to/​audio.mp3"
goal: "转录这段音频的对话内容"

图表解读

file_path: "/​path/​to/​chart.png"
goal: "解释这个图表显示的数据趋势和关键发现"

架构图分析

file_path: "/​path/​to/​architecture.png"
goal: "解释这个系统架构的组件关系和数据流向"

错误识别

file_path: "/​path/​to/​error-screenshot.png"
goal: "识别截图中的错误信息"

返回值

// 成功
{
  "success": true,
  "tool": "looker",
  "SESSION_ID": "uuid-string",
  "file_analyzed": "/​absolute/​path/​to/​file",
  "file_type": "PDF/图片/视频/音频",
  "result": "<analysis>...</​analysis>\n<extracted>...</​extracted>\n<summary>...</​summary>",
  "duration": "0m20s",
  "token_usage": {
    "prompt": 1234,
    "response": 567,
    "total": 1801
  }
}

// 失败
{
  "success": false,
  "tool": "looker",
  "error": "错误信息",
  "error_kind": "file_not_found | file_too_large | unsupported_format | config_error | timeout | api_error | ..."
}

输出格式

Looker 返回结构化分析结果：

<analysis>
**文件类型**: [PDF/图片/视频/音频/图表/架构图/截图]
**分析目标**: [用户请求提取的内容]
</​analysis>

<extracted>
[提取的具体内容]
- 如果是 PDF：文本、表格、结构
- 如果是图片：描述、UI 元素
- 如果是视频：场景描述、关键帧
- 如果是音频：转录内容、音效描述
- 如果是图表：数据、趋势
</​extracted>

<summary>
[简要总结，便于主代理使用]
</​summary>

适合使用

• 媒体文件无法作为纯文本读取
• 需要从文档中提取特定信息或摘要
• 需要描述图片、视频或图表中的视觉内容
• 需要转录或分析音频内容
• 需要分析/提取的数据，而非原始文件内容

不适合使用

配置要求

Looker 需要在配置文件中配置 Gemini API：

# ~/​.omcc-mcp/​config.toml

[looker]
# API Key（必填）- Gemini API Key 或兼容的 API Key
api_key = "your-gemini-api-key"

# API 地址（可选，默认使用 Google 官方地址）
base_url = "https://generativelanguage.googleapis.com"

# 模型名称（可选，默认 gemini-3-flash-preview）
model = "gemini-3-flash-preview"

工作原则

1. 直接返回：提取的信息无需前言
2. 明确缺失：如果未找到信息，说明缺少什么
3. 匹配语言：使用请求的语言回复
4. 目标详尽：在分析目标上详尽，其他方面简洁
5. 承认限制：如果无法完成任务（需要 MCP 工具或其他文件），明确告知