Moment-Video

Moment-Video是一个用于诊断视频多模态大语言模型在瞬时视觉事件上时间保真度的基准，专注于局部化的动作或状态转换，这些事件可能仅持续几帧，但决定了正确答案。该基准包含1,000个人工验证的视频-QA对，覆盖7个领域和25个细分子类别，涵盖真实世界和虚拟场景，并评估四种互补的任务类型：时间发生、时间计数、动作描述和时间推理。

Moment-Video is a benchmark for diagnosing the temporal fidelity of video multimodal large language models on transient visual events, focusing on localized action or state transitions that may span only a few frames but determine the correct answer. This benchmark contains 1,000 human-validated video-QA pairs, covering 7 domains and 25 fine-grained subcategories, encompassing both real-world and virtual scenarios, and evaluates four complementary task types: temporal occurrence, temporal counting, action description, and temporal reasoning.

原始信息汇总

数据集名称

Moment-Video

数据集简介

Moment-Video是一个用于诊断视频多模态大语言模型（MLLMs）在瞬时视觉事件上时间保真度的基准。该基准关注那些仅持续几帧、但对正确答案起决定性作用的局部动作或状态转换。与侧重于持久物体、全局场景上下文或长期语义聚合的基准不同，Moment-Video旨在检验模型能否注意到、计数、描述和推理这些简短的关键证据。

数据集规模与内容

• 视频问答对数量：1,000个经过人工验证的视频问答对。
• 覆盖领域：7个领域，涵盖真实世界和虚拟场景。
• 细粒度子类别：25个。

任务类型（4种互补任务）

• 时间发生（Temporal Occurrence, TO）：判断一个短暂的视觉事件或状态转换是否发生。
• 时间计数（Temporal Counting, TC）：计数短暂的行动、物体变化或重复事件发生的次数。
• 动作描述（Action Description, AD）：描述瞬时事件如何展开，包括方向、轨迹、目标、交互或状态变化。
• 时间推理（Temporal Reasoning, TR）：通过事件前状态、瞬时事件和事件后状态推断最终答案。

基准性能

评估了33个专有和开源视频多模态大语言模型。表现最好的模型 Seed-2.0-Pro 的整体准确率仅为 39.6%，大多数开源模型的准确率低于 25%，揭示了当前模型在捕捉和利用简短但决定性视觉证据方面的巨大差距。

最佳模型表现（按任务类型）

模型	时间发生 (%)	时间计数 (%)	动作描述 (%)	时间推理 (%)	整体 (%)
Seed-2.0-Pro	50.37	31.14	47.08	42.35	39.6
Seed-2.0-Lite	34.81	25.64	36.04	40.00	31.3
Seed-2.0-Mini	32.59	22.88	33.77	25.88	27.8

最佳模型表现（按视频领域）

模型	AIGC (%)	GUI (%)	自然 (%)	工业 (%)	游戏 (%)	人类 (%)	动物 (%)	整体 (%)
Seed-2.0-Pro	45.57	33.94	69.44	41.32	39.37	27.20	55.00	39.6
Seed-2.0-Lite	22.78	27.98	51.39	30.58	25.62	26.80	52.00	31.3
Seed-2.0-Mini	24.05	22.94	58.33	29.75	22.50	20.80	43.00	27.8

数据与使用

• 标注文件：提供 CSV 和 JSON 格式的标注文件，位于 data/annotation_all.csv 和 data/annotation_all.json。
• 视频文件：需按照 data/videos/{Category}/{Subclass}/{Index}.mp4 的结构存放。
• 推理方式：
  • 原生视频推理：适用于接受原生 video_url 输入的 OpenAI 兼容接口。
  • 采样帧推理：适用于将采样帧作为多个图像输入的模型，示例中设置为 1 FPS 和最多 64 帧。
• 评估方式：使用 LMM-as-a-Judge 方法，通过调用 LLM 评估器对模型答案进行语义判断，报告整体准确率以及按答案类型、视频领域、子类别和任务类型分组的准确率。

引用

bibtex @misc{liu2026momentvideodiagnosingtemporalfidelity, title={Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events}, author={Xiaolin Liu and Yilun Zhu and Xiangyu Zhao and Xuehui Wang and Yan Li and Xin Li and Haoyu Cao and Xing Sun and Shaofeng Zhang and Xu Yang and Zhihang Zhong and Xue Yang}, year={2026}, eprint={2606.02522}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2606.02522}, }

相关链接

• 论文：https://arxiv.org/abs/2606.02522
• 数据集：https://huggingface.co/datasets/VisionXLab/Moment-Video
• 项目页面：https://moment-video.netlify.app/

搜集汇总

数据集介绍

构建方式

在视频多模态大语言模型飞速发展的当下，如何精准评估模型对瞬态视觉事件的感知能力成为关键挑战。为此，研究者构建了Moment-Video基准数据集，专注于诊断模型在短暂动作或状态变化上的时间保真度。该数据集包含1,000个经人工验证的视频-问答对，覆盖现实与虚拟场景中的7个广泛领域和25个细分子类别。每个问答对被精心设计以测试模型对仅持续数帧的关键证据的感知能力，包括时间发生判断、时间计数、动作描述和时间推理四种互补任务类型，从而系统性地评估模型对瞬间事件的理解水平。

特点

Moment-Video的独特之处在于其对瞬时视觉事件的深度聚焦，区别于传统侧重于持久物体或长程语义聚合的基准。数据集通过四种任务类型全面刻画模型的时间感知能力，从简单的发生与否判断到复杂的因果推理。评估结果显示，即便是性能最优的模型Seed-2.0-Pro在整体准确率上也仅达39.6%，而多数开源模型低于25%，暴露出当前模型在捕捉和利用短暂但决定性视觉证据方面的显著短板。这种设计揭示了视频MLLMs在时间信息处理上的关键瓶颈，为未来发展指明了方向。

使用方法

使用Moment-Video基准评估模型的过程简洁且灵活。研究者首先将标注文件与视频按指定目录结构存放，随后可选择原生视频推理或采样帧推理两种模式：前者适用于支持直接输入视频的OpenAI兼容接口，后者则将视频以每秒一帧的速率采样并限至64帧后作为多图像输入。推理结果通过大语言模型作为裁判进行自动评估，评估脚本会调用LLM评判开放答案的语义正确性，并输出按答案类型、视频领域和子类别分组的准确率报告，为模型的时间保真度提供细致诊断。

背景与挑战

背景概述

随着视频多模态大语言模型（Video MLLMs）的迅速发展，其在理解持续性场景与全局语义方面取得了显著进展。然而，这些模型对仅持续数帧的瞬时视觉事件——如短暂的动作发生、状态切换或物体变化——的感知能力仍是一个尚未被充分探索的维度。为系统性地诊断这一能力缺陷，由多所机构研究人员于2026年创建的Moment-Video基准数据集应运而生。该数据集由Xiaolin Liu、Yilun Zhu、Xiangyu Zhao等学者共同提出，聚焦于‘瞬时视觉事件’这一核心研究问题，包含1,000个人工验证的视频-问答对，覆盖7大领域与25个细分子类，并设计了时间发生、时间计数、动作描述与时间推理四类互补任务。Moment-Video的发布为视频MLLMs在细粒度时间感知方向的评估提供了首个标准化测试平台，揭示了当前最强模型在该任务上的严重不足，在推动领域发展中具有里程碑式的意义。

当前挑战

Moment-Video所面临的核心挑战来源于其研究问题本身：视频多模态大语言模型在感知瞬时视觉事件时表现出的严重时间保真度不足。在测试的33个模型中，表现最优的Seed-2.0-Pro仅达到39.6%的整体准确率，多数开源模型甚至低于25%，暴露出模型难以捕捉并利用短暂但决定性的视觉证据。构建过程中亦面临多重挑战：首先，如何从海量视频中精准定位并标注那些仅存数帧的‘瞬时事件’，而非混淆于持续物体或全局场景；其次，需确保问答对中答案关键信息严格依赖该瞬时片段，而非可通过常识推断；再者，覆盖真实与虚拟场景的7大领域、25个子类要求标注过程兼顾广泛性与细腻度，极大提升了人工验证的复杂度。这些挑战共同构筑了Moment-Video作为高难度基准的独特价值。

常用场景

经典使用场景

Moment-Video 数据集的核心应用在于精准诊断视频多模态大语言模型对瞬时视觉事件的感知与推理能力。其经典使用场景是基于1,000个经过人工校验的视频-问答对，针对“短暂事件是否发生”、“发生次数”、“动作如何展开”以及“事件前后状态如何影响答案”四个互补任务类型，系统性地评估模型在动作捕捉、计数、描述与因果推理上的表现。该基准尤其关注那些仅持续几帧却决定正确答案的关键视觉证据，从而弥补现有基准侧重于持久物体或全局场景理解的不足，为模型的时间保真度提供严格的诊断工具。

衍生相关工作

Moment-Video 的出现催生了一系列关于视频时间理解与模型感知机制的衍生研究。该数据集为后续工作提供了标准化的评估平台，促使研究者深入探讨帧采样策略、时序编码器设计以及事件驱动注意力机制等课题。例如，基于该基准暴露的性能瓶颈，学者们开始探索更精细的时间注意力网络或动态帧选择策略，以提升模型对短暂事件的捕捉能力。同时，该工作在瞬时事件的定义与分类体系上所做的系统性梳理，也为后续构建更泛化的视频问答基准与细粒度时序生成任务奠定了方法论基础，推动了多模态大模型在时间维度上的全面进化。

数据集最近研究

最新研究方向

视频多模态大模型在瞬间视觉事件上的时间保真度诊断成为当前研究的前沿热点，Moment-Video基准测试聚焦于模型对仅持续数帧的局部动作或状态变迁的感知、计数、描述与推理能力，涵盖真实与虚拟场景中七大领域的细粒度问答对。实验揭示，即便是最先进的Seed-2.0-Pro模型，整体准确率也仅达39.6%，多数开源模型低于25%，暴露出当前模型在捕获瞬间即逝但决定答案的关键视觉证据上存在显著短板。这一发现不仅为视频理解领域设立了严格的评估标准，更推动研究者反思现有时间建模机制的有效性，对提升自动驾驶、视频监控等实时应用场景的可靠性具有深远意义。