PTVD

PTVD是一个大规模的电视剧情节导向多模态数据集，由腾讯PCG实验室创建。该数据集包含1,106部电视剧的完整剧集，总时长39,908分钟，涵盖了丰富的元数据。数据集特色在于其情节描述由专业编辑撰写，提供了情感丰富和情境感知的剧情描述。此外，PTVD还包含了超过2600万条弹幕评论，这些评论为大规模预训练提供了动力。PTVD的应用领域包括剧情分类、剧情检索和剧情文本生成，旨在推动多模态研究的发展，特别是在理解和生成复杂故事情节方面。PTVD is a large-scale TV drama plot-oriented multimodal dataset created by Tencent PCG Lab. This dataset contains full episodes of 1,106 TV dramas, with a total runtime of 39,908 minutes and covers rich metadata. A key feature of the dataset is that its plot descriptions, written by professional editors, provide emotionally rich and context-aware plot summaries. In addition, PTVD also includes over 26 million bullet screen comments, which serve as valuable resources for large-scale pre-training. The application scenarios of PTVD cover plot classification, plot retrieval and plot text generation, aiming to advance the development of multimodal research, particularly in the field of understanding and generating complex storylines.

搜集汇总

数据集介绍

构建方式

在影视多模态研究领域，PTVD数据集的构建标志着一种创新性突破。该数据集依托1106集电视剧资源，通过449名标注人员的协同工作，将专业编辑撰写的24,875条情节描述语句与视频片段精准对齐。构建过程中，标注人员依据情节的完整性而非传统场景分割原则，为每条情节语句标注对应的时间跨度，平均片段时长超过60秒，确保了长程叙事关系的覆盖。此外，团队还整合了2643万余条弹幕评论，并采用时间戳对齐技术，实现了视频、情节文本与弹幕的多模态并行。

特点

PTVD数据集的核心特点在于其情节导向的设计理念，突破了传统场景分割的局限。数据集包含的视频片段平均时长显著超越现有资源，能够有效捕捉叙事中的长程依赖关系。情节文本由专业人员撰写，注重角色心理状态与情境上下文的描述，增强了文本的共情与感知维度。弹幕评论的引入不仅提供了海量文本信号，还首次构建了公开的大规模弹幕语料库。此外，PTVD是首个专注于电视剧领域且以中文为主的多模态数据集，其精细化的58类体裁标签体系进一步支持了深层次的分类研究。

使用方法

PTVD数据集适用于多模态认知任务的开发与评估。研究者可利用其对齐的多模态数据，进行体裁分类、情节检索与情节文本生成等任务。在体裁分类中，模型可融合视频、情节文本及弹幕等多源信号进行预测。情节检索任务支持图像-文本、视频-文本等跨模态检索设置，利用时间戳对齐实现精准匹配。对于情节文本生成，模型需基于视频片段生成包含情境理解与角色心理的叙述文本。数据集提供的预训练弹幕语料可用于大规模预训练，而统一的基准框架则为后续研究提供了可复现的强基线。

背景与挑战

背景概述

PTVD数据集由腾讯PCG的ARC实验室与AI技术中心联合英国谢菲尔德大学于2023年构建，是首个面向电视剧领域、以情节为核心的大规模多模态数据集。该数据集旨在解决传统影视多模态数据集中存在的三大局限：场景导向分割破坏情节连贯性、文本描述缺乏共情与情境语境、以及视频片段过短无法涵盖长程关系。PTVD基于1,106集电视剧，通过449名标注者生成了24,875个情节导向的视频片段，并整合了超过2,600万条弹幕评论，为多模态学习提供了丰富的叙事与交互数据。作为该领域首个非英语数据集，PTVD推动了影视叙事理解与认知启发任务的研究，为多模态算法在复杂故事建模方面的评估与优化奠定了重要基础。

当前挑战

PTVD数据集主要应对影视多模态理解中情节连贯性建模的挑战。传统数据集多以场景或镜头为单位进行分割，难以捕捉跨越多个场景的完整叙事线索，而PTVD通过情节导向的标注方式，要求模型理解长视频片段中的事件逻辑、角色心理状态与情境语境，这对多模态融合与推理能力提出了更高要求。在构建过程中，挑战包括确保情节片段与专业叙述文本的精确对齐、处理大规模弹幕评论的噪声过滤与语义对齐，以及设计细粒度的影视体裁标签体系以适配多样化的电视剧分类需求。此外，数据集的非英语特性与文化背景特异性也为跨语言与跨文化多模态研究带来了新的探索维度。

常用场景

经典使用场景

在影视多模态学习领域，PTVD数据集以其情节导向的独特设计，为研究复杂叙事理解提供了理想平台。该数据集通过整合长时视频片段与专业编辑的情节描述文本，支持模型捕捉跨越多个场景的连贯故事线，从而突破了传统场景导向数据集的局限。经典应用场景包括基于情节的视频检索、跨模态对齐分析以及长时依赖关系建模，这些任务要求算法不仅理解局部视觉内容，还需把握全局叙事逻辑与角色互动。

解决学术问题

PTVD数据集有效应对了影视多模态研究中的三大核心挑战：传统数据集因场景分割而破坏情节连贯性、文本描述缺乏共情与情境信息、以及短片片段难以覆盖长时关系。通过提供平均时长超过60秒的情节片段、富含角色心理状态与情境背景的叙事文本，以及大规模弹幕评论，该数据集使得研究者能够深入探索模型在复杂故事理解、跨模态语义对齐及生成任务中的表现。其引入推动了多模态算法从浅层感知向深层认知的演进，为评估机器智能的叙事处理能力设立了新基准。

衍生相关工作

PTVD数据集的发布催生了一系列围绕情节理解的多模态研究工作。基于其长时视频与丰富文本标注，研究者发展了统一架构以同时处理类型分类、情节检索与文本生成等任务，并探索了弹幕评论在预训练中的增强作用。相关经典工作包括借鉴认知科学里程碑的任务设计、针对中文影视数据的跨模态基准模型构建，以及通过反直觉发现揭示模态偏差与数据分布影响的新见解。这些衍生研究不仅深化了对影视叙事计算的理解，也为多模态学习在更广泛领域的应用提供了方法论参考。