LVBench

LVBench是由清华大学开发的长视频理解基准数据集，旨在评估模型对长视频内容的处理和理解能力。该数据集包含来自公开来源的多样化长视频，平均时长约为4101秒，远超现有数据集。数据集通过精细的人工标注和多阶段质量控制确保高质量，涵盖体育、直播、电视节目等多种类别。LVBench通过定义六种核心能力，设计了一系列复杂问题，以全面评估模型在长视频理解上的表现，适用于解决如长期决策、深度电影评论和体育直播解说等实际问题。LVBench is a long-form video understanding benchmark dataset developed by Tsinghua University, which aims to evaluate models' capabilities in processing and comprehending long-form video content. The dataset includes diverse long videos sourced from public platforms, with an average duration of approximately 4101 seconds, far exceeding that of existing datasets. It ensures high data quality through rigorous manual annotation and multi-stage quality control, covering various categories such as sports, live streaming, and TV programs. LVBench defines six core capabilities and designs a series of complex questions to comprehensively evaluate models' performance in long-form video understanding, and is applicable to solving real-world problems including long-term decision-making, in-depth film reviews, and sports live commentary.

搜集汇总

数据集介绍

构建方式

在长视频理解领域，现有数据集多聚焦于短片段分析，难以满足现实应用中对数小时级视频深度理解的需求。LVBench的构建始于从YouTube平台公开采集时长超过30分钟的高动态性视频，涵盖体育、纪录片、生活记录等六大类别。通过多阶段筛选机制，依据视频逻辑连贯性、主角叙事完整性及视觉信息丰富度等标准，从初始500部视频中精选出103部高质量样本。标注过程中采用人工与模型协同策略，以每小时24问的密度生成问题-答案对，并运用GLM-4与GPT-4进行双重过滤，剔除仅依赖文本语境即可作答的样本，最终形成1549组经严格质控的评估数据。

特点

LVBench的核心特征体现在其突破性的时间跨度与多维能力评估体系。数据集视频平均时长达到4101秒，较现有最长视频数据集扩展约五倍，为模型长期记忆与连续理解能力提供真实考验。其问题设计融合时序定位、摘要生成、因果推理、实体追踪、事件理解及关键信息检索六大核心能力，支持多种能力组合构建复杂查询，全面覆盖长视频理解所需的认知维度。数据多样性通过涵盖21个子类别的视频内容实现，且所有标注均经过人工复核与多阶段质控，确保评估结果的可信度与科学性。

使用方法

该数据集作为评估基准，需配合多模态大语言模型进行长视频理解能力测试。使用时首先需根据模型特性对视频进行帧采样处理，例如以每秒1帧的速率提取视觉序列，当视频超出模型处理上限时进行降采样。输入格式需遵循特定提示模板，将问题与四个选项组合为结构化指令。评估过程通过模型输出的选项字母与标注答案比对计算准确率，对于非常规输出可采用正则表达式或辅助语言模型进行答案提取。研究者可通过该基准系统性检验模型在跨视频类别、不同时长区间及多维能力组合上的表现，为长视频理解算法的优化提供定量分析依据。

背景与挑战

背景概述

随着多模态大语言模型在短视频理解领域取得显著进展，现实应用如具身智能长期决策、深度影评分析与体育直播解说等场景，对长达数小时的长视频理解能力提出了迫切需求。为填补这一研究空白，由智谱AI与清华大学团队于2024年联合构建的LVBench应运而生。该数据集从公开视频平台采集了涵盖体育、纪录片、生活记录等六大类别的长视频资源，平均时长约4101秒，并设计了实体识别、时序定位、推理归纳等六项核心能力评估任务。通过人工标注与模型辅助相结合的方式，构建了1549个高质量问答对，旨在系统评估模型的长时记忆与深层理解能力，为长视频理解研究提供了重要的基准框架。

当前挑战

LVBench致力于解决长视频理解这一复杂领域问题，其核心挑战在于模型需对长达数小时的视频内容进行连贯时序建模与深层语义解析。具体而言，模型必须克服长程依赖捕捉、多粒度事件关联、跨场景实体跟踪等难题，以完成涵盖抽象概括、因果推理与意图推断的综合任务。在数据集构建过程中，研究团队面临标注质量控制的严峻挑战：长视频标注需耗费大量人力进行全片观看，且需避免标注偏差导致问题类型单一化；同时，为确保评估有效性，需通过大语言模型过滤仅凭文本语境即可推断答案的样本，以消除语言先验对模型能力评估的干扰。这些挑战共同凸显了长视频理解在数据标注与模型评估层面的双重复杂性。

常用场景

经典使用场景

在长视频理解研究领域，LVBench作为首个专门针对超长视频设计的基准测试，其经典应用场景在于全面评估多模态大语言模型对持续数小时视频内容的深度解析能力。该数据集通过精心设计的六项核心能力任务——包括时序定位、摘要生成、复杂推理、实体识别、事件理解及关键信息检索——系统性地检验模型在长程记忆、跨场景关联和深层语义理解方面的性能。研究者利用LVBench中平均时长超过68分钟的视频样本，能够精准衡量模型在处理体育赛事、纪录片、生活记录等多样化长视频内容时的综合表现，为模型的长时上下文建模能力提供了标准化的衡量标尺。

解决学术问题

LVBench有效解决了长视频理解领域长期存在的评估体系缺失问题。传统视频理解基准大多局限于数分钟内的短视频分析，难以满足现实场景中对数小时级视频内容进行持续认知的需求。该数据集通过构建覆盖多维度认知任务的评估框架，首次系统性地揭示了当前多模态模型在长时记忆保持、跨事件因果推理和细粒度时空感知等方面的显著不足。其严谨的数据过滤机制成功消除了纯文本推理可能带来的评估偏差，为学术界提供了可靠的研究工具，推动着长视频理解模型在架构设计和训练范式上的根本性革新。

衍生相关工作

LVBench的发布催生了一系列围绕长视频理解的前沿研究工作。基于该基准的评估结果，研究社区开始探索专门针对长时视觉序列建模的新型网络架构，如改进的注意力机制和记忆增强模块。在模型训练方面，出现了利用LVBench进行指令微调的长视频专用模型，这些模型在时序感知和事件关联任务上展现出显著进步。同时，该数据集启发了对多粒度视频表示学习方法的深入研究，包括分层特征提取和动态采样策略的优化。这些衍生工作共同推动着视频理解模型从短片段分析向完整叙事理解的方向演进，为构建真正具备长时认知能力的多模态系统奠定了理论基础。