MMTrail-20M
收藏资源简介：
MMTrail是一个大规模的多模态视频-语言数据集，包含超过2000万个预告片片段，具有高质量的多模态字幕，这些字幕整合了上下文、视觉帧和背景音乐。该数据集旨在增强跨模态研究和细粒度多模态-语言模型训练。它提供了200万个以上的LLaVA视频字幕、200万个以上的音乐字幕和6000万个以上的Coca帧字幕，涵盖了27100小时的预告片视频。MMTrail旨在填补当前视频-语言数据集的空白，这些数据集通常忽视了固有的视听关联的潜力。数据集包含了多样化的主题和定制设计的背景音乐，利用先进的大型语言模型（LLM）自适应地合并注释。数据集包括各种元数据，如视频ID、时间戳、生成的字幕、相似度分数等，并以JSON格式提供，可通过HuggingFace数据集库下载。
MMTrail是一个大规模的多模态视频-语言数据集，包含超过2000万个预告片片段，具有高质量的多模态字幕，这些字幕整合了上下文、视觉帧和背景音乐。该数据集旨在增强跨模态研究和细粒度多模态-语言模型训练。它提供了200万个以上的LLaVA视频字幕、200万个以上的音乐字幕和6000万个以上的Coca帧字幕，涵盖了27100小时的预告片视频。MMTrail旨在填补当前视频-语言数据集的空白，这些数据集通常忽视了固有的视听关联的潜力。数据集包含了多样化的主题和定制设计的背景音乐，利用先进的大型语言模型（LLM）自适应地合并注释。数据集包括各种元数据，如视频ID、时间戳、生成的字幕、相似度分数等，并以JSON格式提供，可通过HuggingFace数据集库下载。
MMTrail: 多模态预告片视频数据集
数据集概述
- 名称: MMTrail
- 类型: 多模态视频-语言数据集
- 规模: 20M+预告片片段
- 总时长: 27.1k小时
- 许可证: CC-BY-NC-SA 4.0
- 任务类别: 特征提取
- 语言: 英语
- 标签: 音乐、视频
数据集内容
- 视频片段: 20M+预告片片段
- 字幕类型:
- LLaVA视频字幕: 2M+
- 音乐字幕: 2M+
- Coca帧字幕: 60M+
- 特点:
- 多样化的主题（电影、新闻、游戏等）
- 定制设计的背景音乐
- 高质量的多模态字幕
数据格式
- 文件格式: JSON
- 包含字段:
- 视频ID、路径、时长、分辨率、帧率
- 片段ID、路径、时长、起止帧
- 图像质量评分、光流评分、美学评分
- 音乐字幕（带/不带人声）
- 语音识别字幕
- 关键帧字幕
- 对象列表、背景描述
- 多种字幕版本（原始、润色、合并）
下载与使用
-
下载方式: python from datasets import load_dataset dataset = load_dataset("litwell/MMTrail-2M")
-
注意事项: 不提供处理后的视频数据下载
引用
bibtex @misc{chi2024mmtrailmultimodaltrailervideo, title={MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions}, author={Xiaowei Chi and Yatian Wang and Aosong Cheng and Pengjun Fang and Zeyue Tian and Yingqing He and Zhaoyang Liu and Xingqun Qi and Jiahao Pan and Rongyu Zhang and Mengfei Li and Ruibin Yuan and Yanbing Jiang and Wei Xue and Wenhan Luo and Qifeng Chen and Shanghang Zhang and Qifeng Liu and Yike Guo}, year={2024}, eprint={2407.20962}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2407.20962}, }
相关链接
- 论文: https://arxiv.org/abs/2407.20962
- 项目页: https://mattie-e.github.io/MMTrail/
- GitHub: https://github.com/litwellchi/MMTrail
