Video-ToC-SFT-1k; Video-ToC-RL-2k
收藏资源简介：
Video-ToC数据集由哈尔滨工业大学团队构建，包含用于视频理解的两部分数据：1k条监督微调样本和2k条强化学习样本。该数据集基于树状视频片段结构构建，每个叶节点对应独立视频片段的内容，通过大语言模型生成层次化推理轨迹标注。数据源自LLaVA-Video-178K数据集的重构，采用Qwen2.5-VL-7B和Llama-3.3-70B模型进行自动标注。该数据集旨在解决视频大语言模型在复杂时空推理任务中的幻觉问题，提升细粒度视觉线索定位能力，适用于视频问答和时空推理等场景。
The Video-ToC dataset was constructed by a team from Harbin Institute of Technology. It includes two subsets for video understanding: 1,000 supervised fine-tuning samples and 2,000 reinforcement learning samples. Built upon a tree-structured video segment framework, each leaf node in this dataset corresponds to the content of an independent video segment, with hierarchical reasoning trajectory annotations generated by large language models (LLMs). The dataset is reconstructed from the LLaVA-Video-178K dataset, and automatic annotations are generated using the Qwen2.5-VL-7B and Llama-3.3-70B models. This dataset aims to mitigate the hallucination issue of video large language models in complex spatiotemporal reasoning tasks, improve their ability to localize fine-grained visual cues, and is applicable to scenarios including video question answering and spatiotemporal reasoning.
数据集概述：Video-ToC
数据集简介
Video-ToC（Video Tree-of-Cue Reasoning）是一个面向视频理解与推理的数据集，旨在通过树状线索推理（Tree-of-Cue Reasoning）增强视频大语言模型（Video LLMs）的复杂视频理解能力，减少推理幻觉。
核心特性
- 树引导视觉线索定位：通过结构化推理模式赋予模型精细的感知能力。
- 推理需求奖励机制：基于推理需求估计动态调整强化学习（RL）奖励值，实现按需激励。
- 自动化标注管线：自动构建用于监督微调（SFT）和强化学习（RL）训练的数据集。
数据集构成
该数据集包含两个子集：
- Video-ToC-SFT-1k：用于监督微调（SFT），包含约1000个样本。
- Video-ToC-RL-2k：用于强化学习（RL）训练，包含约2000个样本。
数据来源
训练视频数据来源于 LLaVA-Video-178K 的一个子集。
数据获取
- 训练数据：可通过 Hugging Face 数据集页面 下载。
- 模型权重：
- Video-ToC 模型：https://huggingface.co/Albertzz888/Video-ToC
- Video-ToC-SFT 模型：https://huggingface.co/Albertzz888/Video-ToC-SFT
相关论文
- 论文标题：Video-ToC: Video Tree-of-Cue Reasoning
- arXiv 地址：https://arxiv.org/abs/2604.20473
基准评测
数据集在以下六个视频理解基准和一个视频幻觉基准上进行了评估：
- 六项视频理解基准
- 一项视频幻觉基准
依赖与框架
- 监督微调（SFT） 基于 LlamaFactory
- 强化学习（RL） 基于 EasyR1
- 评估部分 基于 Video-R1
使用说明
- 安装：使用
conda create -n Video-ToC python=3.11 -y创建环境并运行./install.sh。 - 数据准备：
- 使用
./download.sh下载 Qwen2.5-VL-7B-Instruct 及六个数据集。 - 解压数据集，根据
Evaluation/eval_*.json文件中指定的"path"将视频放入对应文件夹。 - 下载训练视频到
data/video文件夹。
- 使用
- 训练与评估：
- 监督微调：运行
./sft.sh - 强化学习：运行
./grpo.sh - 评估：运行
./eval.sh
- 监督微调：运行
引用格式
bibtex @article{tan2026video, title={Video-ToC: Video Tree-of-Cue Reasoning}, author={Tan, Qizhong and Tian, Zhuotao and Lu, Guangming and Yu, Jun and Pei, Wenjie}, journal={arXiv preprint arXiv:2604.20473}, year={2026} }
