LONGPROC
收藏资源简介：
LONGPROC是由普林斯顿语言与智能研究所和德克萨斯大学奥斯汀分校联合创建的一个基准数据集，旨在评估长上下文语言模型在长程序生成任务中的表现。该数据集包含六个不同的任务，涵盖了从HTML页面提取结构化信息到生成复杂旅行计划等多种任务。每个任务都要求模型遵循详细的程序指令，生成结构化、长形式的输出（最多8K个Token）。数据集的任务设计基于确定性程序，生成的结构化输出使得基于规则的评估成为可能。LONGPROC的应用领域主要集中在长上下文推理、多步推理和复杂搜索程序等实际应用场景，如网页代理和现实世界规划任务。通过该数据集，研究团队揭示了当前长上下文语言模型在长程序生成任务中的关键局限性，并为未来的研究提供了改进方向。
LONGPROC is a benchmark dataset jointly developed by the Princeton Language and Intelligence Institute and The University of Texas at Austin, designed to evaluate the performance of long-context language models on long program generation tasks. This dataset comprises six distinct tasks, covering a broad spectrum of scenarios ranging from extracting structured information from HTML pages to generating complex travel plans. Each task requires the model to adhere to detailed procedural instructions and produce structured, long-form outputs with a maximum length of 8K Tokens. The tasks in LONGPROC are designed based on deterministic programs, and the generated structured outputs enable rule-based evaluation. The primary application scenarios of LONGPROC focus on real-world use cases such as long-context reasoning, multi-step reasoning, complex search procedures, web agents, and real-world planning tasks. Through this dataset, the research team uncovered the key limitations of current long-context language models in long program generation tasks, and provided valuable improvement directions for future research.
LongProc 数据集概述
数据集简介
- 名称: LongProc (Long Procedural Generation)
- 目的: 评估长上下文语言模型（LCLMs）在长过程生成任务中的表现。
- 特点: 数据集包含六个多样化的过程生成任务，要求模型在遵循详细指令的同时，整合高度分散的信息并生成长格式输出（最多8K个标记）。
数据集任务
- 任务类型:
- 从HTML页面提取结构化信息并转换为TSV格式
- 执行复杂的搜索过程以创建旅行计划
- 其他需要长程推理的任务
- 任务难度: 分为三个难度级别，输出标记数分别为500、2K和8K。
数据集评估
- 评估模型: 17个长上下文语言模型，包括前沿的闭源模型和开源模型。
- 评估结果:
- 所有模型在输出长度增加时表现下降。
- 开源模型通常在2K标记任务上表现不佳。
- 闭源模型（如GPT-4o）在8K标记任务上表现显著下降。
- 模型在长格式生成中难以保持长程一致性。
数据集贡献者
- 主要作者:
- Xi Ye (普林斯顿大学)
- Fangcong Yin (德克萨斯大学奥斯汀分校)
- Yinghui He (普林斯顿大学)
- Joie Zhang (普林斯顿大学)
- Howard Yen (普林斯顿大学)
- Tianyu Gao (普林斯顿大学)
- Greg Durrett (德克萨斯大学奥斯汀分校)
- Danqi Chen (普林斯顿大学)
数据集资源
- 论文: arXiv:2501.05414
- 代码: GitHub
- 数据: GitHub
引用
bibtex @article{ye25longproc, title={LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation}, author={Ye, Xi and Yin, Fangcong and He, Yinghui and Zhang, Joie and Howard, Yen and Gao, Tianyu and Durrett, Greg and Chen, Danqi}, journal={arXiv preprint}, year={2025} }
- 1LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation普林斯顿语言与智能研究所, 德克萨斯大学奥斯汀分校 · 2025年
