微软亚洲研究院

Deep Video Discovery: 打造能“看懂”长视频的智能体新标杆

공개됨 7월 18, 2025

이 페이지 공유하기

编者按：面对信息密集、时长数小时的长视频内容，即便是当下最强大的大语言模型（LLMs）与视觉语言模型（VLMs）也难以轻松应对。为此，微软亚洲研究院提出了 Deep Video Discovery（DVD）智能体，通过推理驱动与工具协同，探索更高效、更智能的视频理解。在多个挑战性基准测试中，DVD 展现出领先的性能，进一步推动长视频理解迈向“可用”、“可控”的智能时代。

近年来，大语言模型（LLMs）和大型视觉-语言模型（VLMs）在视频分析和长语境处理方面持续取得进展，特别是在短视频或结构化内容理解上已具备一定能力。然而，面对数小时长、信息密度高、缺乏结构标记的视频内容，现有模型依然面临理解效率低、推理链条浅、响应能力弱等挑战。

为此，微软亚洲研究院的研究员们提出了一种全新的智能体框架 Deep Video Discovery (DVD)，将长视频分割为更短的片段作为“环境”，利用 LLMs 的推理能力驱动“思考”并自主规划，灵活调用具有适当参数的工具获取信息，逐步完成问题求解。借助 OpenAI o3， DVD 在非常具有挑战性的 LVBench上，以76.0%的准确率大幅超越了之前的工作。相关技术框架现已开源。

图1：左：Deep Video Discovery 流程示意图。右：LVBench 上 DVD 的性能比较。

Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding

论文链接：https://arxiv.org/abs/2505.18079 (opens in new tab)

GitHub 链接：https://github.com/microsoft/DeepVideoDiscovery (opens in new tab)

DVD：智能体如何“自主思考”？

DVD 的核心创新在于将理解过程转化为一个“观察-推理-行动”的智能体循环。不同于之前依赖手动设计的固定流程的视频智能体框架，DVD 强调其作为智能体的自主性，即通过自主规划、决策和行动，来解决问题。为了充分利用这一特性，研究员们将原始的长视频转换为多粒度视频数据库，并提供了一套以搜索为中心的工具，使得智能体在不同阶段搜集不同粒度的信息。

该系统主要由三个核心组件构成——多粒度视频数据库、以搜索为中心的工具集以及作为智能体协调器的 LLMs，并分为两个阶段进行操作：

多粒度视频数据库构建：系统将超长视频转换为一个结构化数据库，统一把视频分割成短片段（如5秒），并提取全局、片段和帧级别的多粒度信息，包括主题中心化摘要、片段字幕及其嵌入向量，以及原始解码帧等。
智能体搜索与回答：DVD 智能体配备了三个核心工具：(1)全局浏览（global browse），用于获取高层上下文信息和视频内容的摘要（包括主题和事件中心化摘要）；(2)片段搜索（clip search）工具，实现通过片段描述嵌入（embedding）对视频内容进行高效语义检索，并返回排名靠前的相关视频片段及其字幕和时间范围；(3)帧检查（frame inspect），用于从指定时间范围内的像素级信息中提取细粒度细节，并提供开放格式的视觉问答（VQA）响应。

作为核心的认知驱动器，LLMs 在迭代的“观察-推理-行动”循环中，会根据累积的知识和推理证据采取行动，从而赋予智能体自主、证据引导和灵活的行动机制，有效地将原始查询分解为逐步细化的子查询解答问题。

diagram — 图2：DVD 分为两个阶段：首先将长视频转化为多粒度的视频数据库，然后通过自主搜索和工具使用对用户的问题生成回答。

超越前沿：DVD在LVBench上刷新纪录

在多个长视频基准测试上，DVD 展现出了卓越的效率和强大的性能。在挑战性极高的 LVBench 数据集上，DVD 智能体取得了74.2%的最新准确率，大幅超越了所有现有工作，包括先前的最先进的模型 MR. Video（13.4%的提升）和 VCA（32.9%的提升）。在辅助转录的帮助下，DVD 的准确率进一步提高到了76.0%。

table — 表1： DVD 在 LVBench 上以较大的幅度领先已有的工作

在 LongVideoBench、Video MME Long 子集和 EgoSchema 等其他长视频基准测试中，DVD 也持续超越了先前最先进的性能，并在 EgoSchema 上甚至超过了人类水平的准确率（约76%）。

深入行为分析显示，推理模型在 DVD 智能体系统中具有关键作用：更换推理模型（如替换为 OpenAI o4-mini 或 GPT-4o）会导致性能大幅下降，这表明 LLMs 推理能力的缺失会导致智能体行为出现崩溃。此外，不同模型在工具调用模式、推理深度和准确性之间存在一定的关联，例如 GPT-4o 在任务中表现出“过度自信”，就会倾向于过早地结束推理。这些行为模式的分析为未来智能体的设计以及基础语言模型的发展提供了实践参考。