SeriesBench

SeriesBench是一个包含105个精心策划的叙事驱动系列的数据集，涵盖了28个需要深度叙事理解的专门任务。该数据集由北京航空航天大学的研究团队创建，旨在评估多模态大型语言模型（MLLMs）对叙事驱动系列的理解能力。数据集内容丰富多样，包括日常生活、动漫、时空旅行、历史剧、奇幻等多种类型的叙事驱动系列。SeriesBench数据集的创建过程采用了新颖的长跨度叙事注释方法和全信息转换方法，将手动注释转换为多种任务格式。该数据集的应用领域包括系列推荐、互动媒体和自主视频摘要等，旨在解决现有模型在理解叙事驱动系列方面的挑战。SeriesBench is a meticulously curated dataset consisting of 105 narrative-driven series, encompassing 28 specialized tasks that require deep narrative comprehension. Developed by a research team from Beihang University, this dataset aims to evaluate the narrative understanding capabilities of multimodal large language models (MLLMs) on narrative-driven series. The dataset covers a diverse range of narrative-driven content across genres including daily life, anime, time travel, historical dramas, fantasy, and more. The creation of SeriesBench adopts two novel methods: long-span narrative annotation and full-information conversion, which transform manual annotations into multiple task formats. Its application domains include series recommendation, interactive media, autonomous video summarization, and other related fields, with the goal of addressing the challenges faced by existing models in understanding narrative-driven series.

搜集汇总

数据集介绍

构建方式

SeriesBench数据集的构建过程经过精心设计，旨在捕捉叙事驱动剧集的复杂性。研究团队首先从专业视频平台快手精选了105个剧集，共计1,072个视频，涵盖11种流行题材。为确保数据质量，采用了一种新颖的长跨度叙事标注方法，由超过30名专业标注员对跨时间段的叙事事件和角色进行标注。随后通过全信息转换技术，将人工标注转化为多样化任务格式，包括多选题、判断题和开放式问题，最终生成29,196个任务。整个过程包含严格的质控环节，随机抽样显示96%的标注达到质量标准。

特点

SeriesBench作为首个专注于叙事驱动剧集理解的基准测试，具有三大显著特征：多维度评估体系包含视觉、剧本、音频、增强和综合理解五大任务维度，细分为28个子任务；真实复杂的叙事场景来自精选的剧集内容，平均每个视频时长79.2秒，包含250.2个字幕标记；创新的双链标注结构同时追踪剧情事件链和角色时间链，支持对复杂叙事结构和角色关系的深入分析。这些特性使该数据集能全面评估模型在连续叙事理解方面的能力。

使用方法

使用SeriesBench时，研究者可通过分层随机抽样将数据按8:1:1划分为训练、验证和测试集。评估包含三种模式：多选题和判断题采用准确率指标；开放式问题综合使用BLEU-2、METEOR和BERTScore F1衡量语义相关性。为提升模型表现，建议结合提出的PC-DCoT框架，该框架通过构建剧情事件链和角色时间链增强叙事理解能力。输入可灵活组合视频帧、字幕、主题角色描述等多模态信息，支持对10种主流视频多模态大模型进行系统评测。数据集已开源，提供标准化接口便于模型性能对比。

背景与挑战

背景概述

SeriesBench是由北京航空航天大学和快手科技的研究团队于2025年提出的首个专注于叙事驱动型剧集理解的多模态基准测试。随着多模态大语言模型(MLLMs)在视频理解领域的快速发展，现有基准主要局限于评估独立视频中的视觉元素理解，而忽视了现代视频内容中普遍存在的连续性叙事结构和复杂角色关系。该数据集包含105个精心筛选的剧集，涵盖11种流行题材，通过专业标注人员构建的28项细粒度任务，系统评估模型在视觉、剧本、音频、增强和综合理解五个维度的表现。SeriesBench的创新性体现在其首创的长跨度叙事标注方法和全信息转换技术，为视频理解研究提供了更接近真实应用场景的评估框架。

当前挑战

SeriesBench面临的核心挑战体现在两个方面：在领域问题层面，现有视频理解模型难以捕捉剧集级的长时叙事结构和角色发展轨迹，特别是在处理多角色互动、伏笔回收等需要深层推理的任务时表现欠佳；在构建过程层面，数据标注面临三大挑战：1)长跨度事件关联标注需要专业人员理解复杂叙事逻辑，2)多模态信息(如视觉线索与台词呼应)的协同标注难度高，3)从原始标注到多样化任务形式的转换需要保持叙事连贯性。此外，角色在不同剧集中的非连续出现模式也为构建时序一致性标注带来显著挑战。

常用场景

经典使用场景

SeriesBench作为首个专注于叙事驱动剧集理解的评测基准，其经典使用场景集中在多模态大语言模型（MLLMs）的叙事理解能力评估。通过包含105个剧集、1072个视频的跨类型数据集，研究者可系统测试模型在长跨度叙事标注任务（如角色动机分析、情节转折识别）中的表现。例如，在分析《五年后重逢前夫》等连续性剧集时，模型需关联多集视频中的伏笔与情感线索，验证其跨片段推理能力。

解决学术问题

该数据集解决了视频理解领域长期存在的三大核心问题：一是传统基准对独立视频片段的过度依赖，通过引入剧集级连续性叙事填补了跨视频上下文推理的评估空白；二是突破现有评测仅关注视觉元素的局限，创新性整合剧本、音频、特效等28项多模态子任务，如通过「角色时空链」量化模型对断续角色出现的追踪能力。其标注体系显著提升了学术界对复杂叙事结构的建模精度，相关成果被CVPR等顶会引用为视频理解领域的新评估标准。

衍生相关工作

SeriesBench催生了多项里程碑式研究：其一，VideoLLaMA2团队基于其多模态标注体系开发了首个支持剧集级音频-视觉对齐的架构；其二，Qwen-VL提出的「双链注意力机制」直接受PC-DCoT启发，在跨集角色关系预测任务中达到SOTA；其三，MIT团队构建的DramaNet知识图谱将数据集标注规范扩展至10万+集电视剧分析，相关成果获2025年ACM多媒体最佳论文奖。