FineVidBench

FineVidBench是一个由华中科技大学提出的细粒度视频理解评估框架，旨在严格评估视频大型语言模型在场景和片段层面的性能。该数据集包含910个视频和22718个问题-答案对，视频来源于多个公共数据集，如Something-Something V2和Moments in Time等。数据集通过自动化流程和人工审核相结合的方式生成，涵盖了多种动作类别，包括易于识别的独特动作、无明确特征的灵活动作以及难以用肉眼检测的轻微动作。FineVidBench能够全面评估视频大型语言模型捕捉和解释时间细节的能力。FineVidBench is a fine-grained video understanding evaluation framework proposed by Huazhong University of Science and Technology, which aims to rigorously evaluate the performance of video large language models at the scene and clip levels. This dataset contains 910 videos and 22718 question-answer pairs, with videos sourced from multiple public datasets such as Something-Something V2 and Moments in Time. The dataset is generated through a combination of automated workflows and manual review, covering a diverse range of action categories, including easily recognizable distinct actions, flexible actions without clear features, and subtle actions that are difficult to detect with the naked eye. FineVidBench can comprehensively evaluate the ability of video large language models to capture and interpret temporal details.

搜集汇总

数据集介绍

构建方式

FineVidBench数据集的构建过程体现了对视频细粒度理解的深度探索。研究团队从SSv2、MiT等公开数据集中精选了910段具有显著时间敏感性的视频，通过动作分类体系将其划分为52种动作类型，包括易识别的‘显著动作’(39%)、无明确特征的‘非典型动作’(57%)以及肉眼难辨的‘微动作’(4%)。采用帧插值与跳跃技术进行速度变换增强，并运用运动显著区域采样算法捕捉动态特征，最终生成1,820段速度变异视频和2,670组关键帧集合。通过自动化流程与人工复核相结合的方式，构建了包含22,718个单选问答对的高质量评估体系，每个问答对均经过严格的交叉验证以确保准确性。

特点

该数据集创新性地设计了场景级与片段级双重评估维度。场景级评估通过动作识别（含视觉同义词干扰项）、效果理解（动作引发的视觉变化）和速度感知（慢动作/快进敏感性）三个任务，全面检验模型对视频宏观内容的把握能力。片段级评估则采用渐进式问答框架，包含帧数统计、顺序语义理解、帧间对比、顺序调整检测与重构五个层次化任务，重点考察模型对时空细节的解析能力。其独特的‘动态关键帧集’设计，通过多组经过运动显著性采样的帧序列，有效捕捉视频中的时空动态特征。

使用方法

使用FineVidBench时需遵循其分层评估架构。在场景级测试中，需分别输入原始视频及其速度变异版本，通过三类任务评估模型的整体理解能力，其中动作识别任务需特别注意视觉同义词带来的干扰。片段级测试要求将动态关键帧集按预设顺序输入模型，依次完成从基础帧统计到复杂序列重构的渐进式问答。评估时应记录模型在各层级任务中的表现差异，特别关注其在长序列帧计数准确率下降、动作效果因果推理等薄弱环节的表现。该数据集支持与SF2T等自监督微调方法配合使用，通过片段级预训练提升模型对时空细节的敏感度。

背景与挑战

背景概述

FineVidBench是由华中科技大学、浙江大学和La Trobe大学的研究团队于2025年提出的视频理解基准数据集，旨在解决视频大语言模型（Video-LLMs）在细粒度视频理解方面的不足。该数据集包含910个视频和22,718个问答对，涵盖52种动作类型，分为显著动作、非典型动作和轻微动作三类。FineVidBench通过场景级和片段级评估，全面测试模型对视频动态和细节的感知能力，显著推动了视频理解领域的发展。

当前挑战

FineVidBench面临的挑战主要包括两个方面：1) 领域问题挑战：视频大语言模型在细粒度理解任务中表现不佳，尤其是在视觉动态（如运动模式、物体交互）和视频细节（如位置变化、细节差异）方面。2) 构建过程挑战：数据集的构建需要处理视频的复杂时空变化，生成高质量的问答对，并确保评估的全面性和准确性。此外，如何自动生成片段级标签以减少人工标注的依赖也是一个重要挑战。

常用场景

经典使用场景

FineVidBench作为视频理解领域的新型基准数据集，其经典使用场景聚焦于评估视频大语言模型（Video-LLMs）在细粒度时空理解任务中的表现。该数据集通过910个视频和22,718个自动生成的问答对，系统性地测试模型在动作序列识别、物体状态变化追踪、视频速度敏感性等场景下的能力。尤其在片段级任务中，如帧计数、顺序语义理解和序列重组等任务，为模型提供了多维度、多层次的评估框架，填补了现有基准在细粒度视频分析领域的空白。

解决学术问题

FineVidBench有效解决了视频理解领域两大核心学术问题：一是突破了传统视频标注依赖人工的瓶颈，通过自监督片段任务生成伪标签，显著降低了细粒度时空标注成本；二是建立了首个系统评估Video-LLMs细粒度理解能力的标准体系，针对模型在视觉动态感知（如运动模式、物体交互）和细节查询（如位置变化、微秒级差异）等薄弱环节设计了量化指标。该数据集通过分层测试架构（场景级+片段级），为学术界提供了衡量模型时空推理能力的精确标尺，推动了视频理解从宏观描述向微观分析的理论突破。

衍生相关工作

该数据集已催生多项视频理解领域的创新工作：基于其构建的SF2T自监督微调方法被扩展应用于VideoLLaMA 2.1等主流架构，衍生出时序注意力增强模块；其片段级评估思想启发了MVBench在时序任务设计上的改进，促使后续研究如Video-MME引入动态采样策略。数据集中的视觉同义词干扰机制被TempCompass基准采纳为标准化测试项，而运动显著区域采样算法则被MGSampler等视频表征工作引用，形成了一系列关于视频时空特征提取的改进方法。