FETV

FETV数据集是由北京大学多媒体信息处理国家重点实验室和华为诺亚方舟实验室合作开发的，用于细粒度评估开放领域文本到视频生成模型的基准。该数据集包含619个文本提示，这些提示根据内容、控制属性和提示复杂性三个正交方面进行分类。FETV不仅考虑了视频生成的空间内容，还特别引入了时间类别以适应视频生成的时间信息。数据集通过两步标注过程构建，首先自动分配类别标签，随后进行人工审核。FETV数据集的应用领域主要集中在评估和改进文本到视频生成模型的性能，特别是在解决现有自动评估指标与人类标准不一致的问题上。The FETV dataset is a benchmark jointly developed by the National Key Laboratory of Multimedia Information Processing at Peking University and Huawei Noah's Ark Lab, designed for fine-grained evaluation of open-domain text-to-video generation models. This dataset contains 619 text prompts, which are categorized along three orthogonal aspects: content, control attributes, and prompt complexity. Beyond focusing on the spatial content of video generation, FETV specially introduces temporal categories to accommodate the temporal information required for video generation. The dataset is constructed via a two-step annotation process: category labels are first assigned automatically, followed by manual review. The main application scenarios of the FETV dataset center on evaluating and improving the performance of text-to-video generation models, particularly in addressing the inconsistency between existing automatic evaluation metrics and human-centric standards.

搜集汇总

数据集介绍

构建方式

FETV数据集的构建源自于对开放域文本到视频生成模型进行细粒度评估的需求。其文本提示来源于两大渠道：一是从现有开放域文本-视频数据集MSR-VTT测试集和WebVid验证集中复用文本，以确保提示的多样性；二是人工撰写描述现实世界中罕见场景的提示，以测试模型的泛化能力。在提示分类上，采用两步标注流程：首先基于关键短语、WordNet同义词集和手工设计的匹配模式进行自动分类，随后通过人工审查和修正以确保标签的准确性。最终，从现有数据集中精选出541条提示，并人工撰写78条非常规提示，共计619条带有分类标签的文本提示。

使用方法

FETV数据集主要用于两种场景：人工评估和自动评估。在人工评估中，研究者可根据数据集的多方面分类体系，对生成的视频从静态质量、时间质量、整体对齐和细粒度对齐四个维度进行评分，从而揭示模型在不同类别提示上的优势与不足。在自动评估中，FETV可作为诊断平台，通过计算自动评估指标（如CLIPScore、FVD）与人工评估结果的相关性，检验其可靠性。具体使用时，用户可从GitHub或HuggingFace下载JSON格式的数据集，按照分类标签选取特定子集，对目标模型生成的视频进行系统化评估。

背景与挑战

背景概述

近年来，开放域文本到视频（Text-to-Video, T2V）生成技术取得了显著进展，涌现出如CogVideo、ModelScopeT2V等代表性模型，展现出令人瞩目的视觉质量与语义对齐能力。然而，现有评估体系多依赖定性案例展示，缺乏系统性的定量分析。为填补这一空白，北京大学与华为诺亚方舟实验室的研究团队于2023年联合提出了FETV基准数据集，旨在实现T2V模型的细粒度评估。FETV从主要内容、属性控制和提示复杂度三个正交维度对文本提示进行分类，并创新性地引入了专为视频生成设计的时间类别，从而全面刻画模型在不同场景下的能力边界。该数据集包含619条精心标注的文本提示，涵盖空间与时间两大范畴，为T2V领域提供了首个多维度、时间感知的评估框架，对推动模型性能诊断与未来研究方向具有重要影响力。

当前挑战

FETV数据集所应对的核心挑战源于现有T2V评估的两大困境。其一，现有评估指标（如CLIPScore、FVD）与人类主观判断的相关性极低，难以可靠反映模型真实表现，尤其在涉及动作、运动方向与事件顺序等复杂时间属性的生成任务中，自动指标往往失效。其二，构建过程中面临多维度分类的精细标注难题，需在确保类别覆盖全面性的同时，兼顾时间与空间属性的正交划分。为克服这些挑战，研究团队采用自动匹配与人工审核相结合的两阶段标注策略，从MSR-VTT和WebVid等数据集中筛选并补充了78条罕见场景提示，最终构建出兼具广泛性与挑战性的评估基准，为后续自动指标改进（如基于UMT的FVD-UMT与UMTScore）提供了关键实验平台。

常用场景

经典使用场景

在开放域文本到视频生成领域，FETV基准数据集被广泛用于对生成模型进行细粒度的性能评估。其经典使用场景在于，通过多维度、多类别的文本提示分类体系，系统性地衡量模型在不同内容类型（如人物、动物、场景）、不同属性控制（如颜色、数量、运动方向）以及不同提示复杂度下的表现。研究者利用FETV的619个精心标注的提示，能够深入剖析模型在静态质量、时间连贯性以及视频-文本对齐等方面的优势与短板，从而获得超越传统整体指标的全面洞察。

解决学术问题

FETV数据集有效解决了现有文本到视频生成评估中两个关键学术难题：其一，弥补了缺乏细粒度评估的空白，通过多维度分类体系（包括主要内容、属性控制和提示复杂度）实现了对模型能力的精细化剖析，揭示了模型在动作生成、数量控制、运动方向及事件顺序等特定类别上的系统性不足；其二，揭示了当前自动评估指标（如CLIPScore和FVD）与人类判断之间的低相关性，并通过开发基于UMT模型的新型自动度量（FVD-UMT和UMTScore），显著提升了自动评估与人类感知的一致性，为未来评估方法的研究提供了重要基准。

实际应用

在实际应用中，FETV数据集为文本到视频生成技术的质量监控与模型选型提供了可靠依据。内容创作平台可利用FETV的细粒度评估体系，筛选出在特定场景（如慢动作、特定颜色控制或复杂事件序列）下表现最优的生成模型，从而优化视频广告、影视特效或教育动画的自动生成流程。此外，该数据集还可作为自动化质量检测工具，帮助开发者在部署前快速诊断模型在动态内容、运动方向控制等关键维度上的缺陷，确保生成视频的视觉真实性与语义准确性，降低人工审核成本。

数据集最近研究

最新研究方向

在开放域文本到视频生成领域，FETV基准数据集推动了细粒度评估的前沿探索。该研究直面现有评估体系的两大核心挑战：一是缺乏对文本提示的多维度分类，二是自动评估指标与人类判断的显著偏差。FETV创新性地从主体内容、属性控制与提示复杂度三个正交维度构建分类体系，并引入专为视频生成设计的时间类别（如运动方向、事件顺序），实现了对模型能力的精细化解析。基于该基准，研究者对CogVideo、ModelScopeT2V等代表性模型进行了系统化人类评估，揭示了它们在动作类视频质量及数量、运动方向控制等方面的共同短板。更关键的是，FETV作为诊断平台，证实了CLIPScore与FVD等传统指标与人类评价的相关性极弱，进而催生了基于UMT的改进指标（UMTScore与FVD-UMT），显著提升了自动评估的可靠性。这一工作不仅为T2V模型提供了更精准的评估框架，也为推动视频生成领域向更可控、更可信的方向发展奠定了方法论基础。

相关研究论文

• FETV: A Benchmark for Fine-Grained Evaluation of Open-Domain Text-to-Video Generation

  北京大学多媒体信息处理国家重点实验室 · 2023年