ShareGPTVideo/test_video_and_instruction

ShareGPTVideo测试数据集是一个用于问答任务的数据集，主要包含视频帧和视频问答数据。数据集涵盖了多个视频来源，包括WebVid、Vidal、ActivityNet等，并提供了详细的测试视频帧和问答数据的目录结构。此外，数据集还提供了测试管道、推理结果、DPO排名结果等信息。数据集的预览示例展示了视频问答的具体应用场景，并提供了相关的引用信息。ShareGPTVideo测试数据集是一个用于问答任务的数据集，主要包含视频帧和视频问答数据。数据集涵盖了多个视频来源，包括WebVid、Vidal、ActivityNet等，并提供了详细的测试视频帧和问答数据的目录结构。此外，数据集还提供了测试管道、推理结果、DPO排名结果等信息。数据集的预览示例展示了视频问答的具体应用场景，并提供了相关的引用信息。

原始信息汇总

数据集概述

数据集名称

• ShareGPTVideo Testing Data

许可证

• Apache-2.0

任务类别

• Question-Answering
• Other

语言

• English

标签

• GPT-4V
• Video

大小类别

• n < 1M

数据集内容

• Test video frames
  • In-domain sources: WebVid, Vidal (Youtube shorts), ActivityNet
  • Out-of-domain sources: MSRVTT, MSVD, TGIF, SSV2

测试相关

• Inference and results: Available at result
• DPO ranking results: Available at dpo ranking

视频帧结构

bash video_data └── test ├── actnet ├── msrvtt ├── msvd ├── ssv2 ├── tgif ├── vidal └── webvid

测试视频QA数据结构

bash video_instruction ├── test │ ├── actnet.qa.jsonl │ ├── msrvtt.qa.jsonl │ ├── msrvtt.qa.official.jsonl │ ├── msvd.qa.jsonl │ ├── msvd.qa.official.jsonl │ ├── ssv2.qa.jsonl │ ├── tgif.qa.jsonl │ ├── tgif.qa.official.jsonl │ ├── vidal.qa.jsonl │ └── webvid.qa.jsonl └── test_result ├── eval_results_official.jsonl

预览示例

• Existing Video QA from Video-ChatGPT
• Our Proposed Video QA Benchmark

引用信息

@misc{zhang2024direct, title={Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward}, author={Ruohong Zhang and Liangke Gui and Zhiqing Sun and Yihao Feng and Keyang Xu and Yuanhan Zhang and Di Fu and Chunyuan Li and Alexander Hauptmann and Yonatan Bisk and Yiming Yang}, year={2024}, eprint={2404.01258}, archivePrefix={arXiv}, primaryClass={cs.CV} }