full-modality-data
收藏资源简介：
这个数据集包含了多模态视频问答对，需要同时使用视觉和音频信息来正确回答问题。问题覆盖了多个类别，包括时间推理、因果关系分析、场景描述等。所有问题都是开放式的。
This dataset contains multimodal video question-answer pairs, where correctly answering the questions requires simultaneous utilization of both visual and audio information. The questions cover multiple categories, including temporal reasoning, causal relationship analysis, scene description, and so on. All questions are open-ended.
Full Modality Dataset 概述
基本信息
- 许可证: MIT
- 标签: 多模态, 视频问答, 视听
- 任务类别: 问答
- 语言: 英语
- 规模: 1M<n<10M
视频统计
- 视频总数: 28,472
- 总时长: 1422.33小时
- 平均时长: 179.84秒
- 中位数时长: 160.08秒
- 时长范围: 10.04秒 - 1780.03秒
问答统计
- 问题总数: 1,444,526
- 平均每视频问题数: 50.7
- 每视频问题数范围: 14 - 450
问题类型分布
- 开放式问题 (OE): 1,444,526 (100.0%)
问题类别分布
- 时间推理 (temporal): 96,873 (6.7%)
- 因果分析 (causal): 96,873 (6.7%)
- 场景描述 (description_scene): 96,873 (6.7%)
- 人物描述 (description_human): 96,873 (6.7%)
- 物体描述 (description_object): 96,873 (6.7%)
- 二元问题 (binary): 96,873 (6.7%)
- 细粒度动作理解 (fine_grained_action_understanding): 96,873 (6.7%)
- 情节理解 (plot_understanding): 96,873 (6.7%)
- 不存在动作 (non_existent_actions): 96,873 (6.7%)
- 时间顺序理解 (time_order_understanding): 96,873 (6.7%)
- 属性变化 (attribute_change): 96,873 (6.7%)
- 视听对话一致性 (audio_visual_dialogue_consistency): 96,873 (6.7%)
- 视听潜台词 (audio_visual_subtext): 96,873 (6.7%)
- 视听情绪 (audio_visual_mood): 96,873 (6.7%)
- 空间推理 (spatial_reasoning): 88,304 (6.1%)
数据集描述
该数据集包含多模态视频问答对，需要视觉和音频信息才能正确回答。问题涵盖多个类别，包括时间推理、因果分析、场景描述等。所有问题均为开放式格式。
数据集结构
包含以下列：
video_id: 视频的唯一标识符video_filename: 视频的原始文件名video_duration: 视频时长（秒）video_size_mb: 视频文件大小（MB）segment: 视频中的时间段（格式：开始时间-结束时间）category: 问题类别question: 问题文本（开放式格式）answer: 正确答案
使用方法
python from datasets import load_dataset
dataset = load_dataset("ngqtrung/full-modality-data")
按类别筛选
temporal_questions = dataset.filter(lambda x: x[category] == temporal) causal_questions = dataset.filter(lambda x: x[category] == causal)
获取唯一类别
categories = set(dataset[category]) print(f"Available categories: {categories}")
