Demo-ICL-Bench
收藏资源简介：
Demo-ICL-Bench是一个包含1,200个样本的基准数据集，源自HowTo100M教学视频，旨在评估多模态大型语言模型（MLLMs）是否能够从提供的演示（文本或视频）中动态获取程序性知识以解决新任务。数据集包含三种不同的设置：文本演示ICL、视频演示ICL和演示选择。
Demo-ICL-Bench is a benchmark dataset containing 1,200 samples derived from the HowTo100M instructional videos. It is designed to evaluate whether Multimodal Large Language Models (MLLMs) can dynamically acquire procedural knowledge from provided demonstrations (text or video) to solve novel tasks. The dataset includes three distinct settings: in-context learning with textual demonstrations, in-context learning with video demonstrations, and demonstration selection.
Demo-ICL 数据集概述
数据集基本信息
- 数据集名称：Demo-ICL (In-Context Learning for Procedural Video Knowledge Acquisition)
- 发布状态：已发布
- 发布日期：2026-02-09
- 相关论文：arXiv:2602.08439
- 许可证：Apache 2.0
- Hugging Face 地址：https://huggingface.co/datasets/Choiszt/demo-icl
数据集简介
Demo-ICL 探索了一个具有挑战性的新前沿：演示驱动的视频上下文学习。该数据集旨在评估多模态大语言模型（MLLMs）能否从提供的文本或视频演示中动态地获取程序性知识，以解决新任务。
基准测试：Demo-ICL-Bench
- 数据来源：基于 HowTo100M 教学视频构建。
- 样本数量：总计 1,200 个样本。
- 任务设计：要求模型根据上下文预测视频中的下一个步骤。
- 构建流程：采用从粗到精的流程确保高质量演示。使用 WhisperX 提供精确时间戳，使用 Qwen2.5-72B 将转录本总结为结构化指令并过滤无关步骤。通过搜索排名（粗粒度）和 LLM 语义相似性验证（细粒度）来识别和验证视频对，确保知识可迁移性。
基准测试包含三种设定
- 文本演示上下文学习：包含 500 个样本。模型必须从文本指令中检索相关程序步骤，以预测目标视频中的下一个动作。
- 视频演示上下文学习：包含 500 个样本。模型获得一个类似任务的参考视频，必须将该视觉程序性知识迁移到目标视频中。
- 演示选择：包含 200 个样本。这是一个更现实的设定，模型必须从包含干扰项的候选池中选择正确的演示，然后解决任务。
相关模型：Demo-ICL Model (7B)
- 基础模型：基于 Ola-Video 构建。
- 训练策略：采用新颖的两阶段训练策略。
- 视频监督微调：在多样化的视频/图像-文本数据上对 Ola-Video 进行微调，以建立基础理解。
- 信息辅助的 DPO：在训练期间利用辅助信息的新颖流程，使响应与人类偏好对齐，从而在无需辅助工具的情况下实现准确推理。
性能结果
在 Demo-ICL-Bench 上的表现
- 最先进性能：Demo-ICL (7B) 模型平均准确率达到 33.1%，超越了 Qwen2.5-VL-72B (29.5%)，尽管其规模小了 10 倍。
- 正向迁移：与许多基线模型在提供视频演示时性能下降（负 $Delta_{ICL}$）不同，Demo-ICL 在使用视频演示时实现了 +4.4 的提升，使用文本演示时实现了 +14.0 的提升。
通用视频理解能力
- 在标准基准测试中保持稳健性能，在 VideoMMMU（知识获取）上达到 52.6%，超越了 Qwen2.5-VL-7B 和 LLaVA-OneVision-7B。
引用
如果使用此工作，请引用以下论文： bibtex @article{dong2025demoicl, title={Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition}, author={Dong, Yuhao and Tian, Shulin and Liu, Shuai and Ding, Shuangrui and Zang, Yuhang and Dong, Xiaoyi and Cao, Yuhang and Wang, Jiaqi and Liu, Ziwei}, journal={arXiv preprint arXiv:2602.08439}, year={2026} }
