LongVidSearch
收藏资源简介：
LongVidSearch是一个用于长视频中多跳证据检索规划的代理基准，包含3,159个QA对，来源于447个长视频（平均时长约26分钟），分为Hop-2/3/4三个层次，每个层次对应必要的证据剪辑。数据集强调检索必要性和证据基础的多跳推理，提供统一的工具接口，并报告准确性和工具调用成本以研究准确性与成本的权衡。
LongVidSearch is an agent benchmark for multi-hop evidence retrieval planning in long videos. It contains 3,159 QA pairs sourced from 447 long videos with an average duration of approximately 26 minutes. The dataset is categorized into three levels: Hop-2, Hop-3 and Hop-4, each corresponding to necessary evidence clips. It emphasizes the necessity of retrieval and multi-hop reasoning grounded in evidence, provides a unified tool interface, and reports both accuracy and tool invocation costs to study the trade-off between accuracy and cost.
LongVidSearch 数据集概述
数据集基本信息
- 数据集名称: LongVidSearch
- 核心目标: 评估智能体在长视频中进行检索必需且证据可溯的多跳问答能力，重点关注检索规划。
- 发布日期: 2026-02-13
- 许可协议: MIT License
数据集规模与构成
- 总规模: 包含 3,159 个问答对。
- 视频来源: 源自 447 个长视频。
- 视频平均时长: 约 26 分钟。
- 问题复杂度分层:
- 2-Hop: 1,897 个问题 (60.1%)
- 3-Hop: 801 个问题 (25.4%)
- 4-Hop: 461 个问题 (14.6%)
任务类别与分布
数据集包含四种能力类别的问题：
- 因果推断 (Causal Inference): 917 个问题 (29.0%)
- 全局总结 (Global Summary): 889 个问题 (28.1%)
- 视觉追踪 (Visual Tracking): 850 个问题 (26.9%)
- 状态突变 (State Mutation): 503 个问题 (15.9%)
核心特性
- 检索必需的多跳问答: 每个 Hop-k 问题需要 k 个必要的证据片段，移除任一都会使问题无法确定。
- 标准化工具接口: 为所有智能体提供相同的证据访问方式，以隔离查询构建和多步证据获取能力。
- 稳定评估: 采用三个强 LLM 评委的多数投票机制，并进行专家审核以确保一致性。
- 效率感知: 报告工具调用成本，作为证据访问开销的直接度量。
标准化工具
所有智能体通过以下固定接口与数据集交互：
Search_Clips_In_Video(video_id, query, top_k): 根据文本查询在指定视频中检索最相关的 top-K 片段。Get_Clip_Detail(clip_id): 返回指定片段的高质量描述（作为证据）。FINAL_ANSWER(answer_text, evidence_clip_ids): 提交答案及查看过的证据片段ID列表。
评估指标
- 答案准确率: 适用时采用精确匹配，否则采用带严格评分标准的 LLM-as-a-judge 及三评委多数投票。
- 工具调用成本: 每个问题调用的标准化工具次数，用于衡量证据访问开销。
- Oracle (黄金片段): 提供黄金证据片段的设定，用于验证标准设定下的主要瓶颈是检索与检索规划，而非基于正确证据的推理。
数据集文件结构
主要数据文件包括：
full-QA.json: 基准测试的问答文件。video-caption.parquet: 视频片段的高质量描述文件。video_embeddings/: 检索嵌入向量。
引用信息
bibtex @inproceedings{longvidsearch2026, title = {LongVidSearch: An Agentic Benchmark for Multi-hop Evidence Retrieval Planning in Long Videos}, author = {Rongyi Yu ,Chenyuan Duan ,Hao Liang ,Ruichuan An ,Wentao Zhang}, booktitle = {SIGIR Submitted}, year = {2026} }
