autoresearch-novelty-bench

这是一个用于测试自主AI研究智能体是否提出新颖、机制独特的假设并预测其他研究人员后来发现的突破性成果的基准数据集。它基于Prime Intellect的自主速通档案构建，包含10,380个训练运行、646个想法记录和337,648个验证检查点，通过解析、链接、恢复变体文件等步骤构建了实验目录，并生成了40个时间锚定的评估快照，用于评估提案的新颖性、重复发现、预测有效性和多样性。

This is a benchmark dataset for testing whether autonomous AI research agents can propose novel, mechanism-unique hypotheses and predict breakthrough discoveries later made by other researchers. Developed based on the Autonomous Speedrun Archives of Prime Intellect, this dataset contains 10,380 training runs, 646 idea records, and 337,648 validation checkpoints. An experimental catalog was constructed via procedures such as parsing, linking, and variant file recovery, and 40 time-anchored evaluation snapshots were generated to assess the novelty, repeated discovery performance, predictive validity, and diversity of the submitted proposals.

原始信息汇总

数据集概述

autoresearch-novelty-bench 是一个用于评估自主AI研究代理（proposer）所提出研究假设的基准测试平台。其核心功能是判断一个代理提出的 N 个候选想法是否具有新颖性、能否预测未来的突破，以及是否只是重复已有的发现。

数据来源与构建流程

该数据集构建于 Prime Intellect 公开的 autonomous-speedrunning 存档之上。该存档记录了 Claude Code 和 Codex 两个AI代理在 modded-nanogpt 优化任务上的竞赛过程。

构建流程包含以下 8 个关键步骤：

1. 解析原始数据：对两个代理在 4 个竞赛阶段（wave）产生的 8 个工作区进行解析，从 10,380 次训练运行、646 个想法文档和 337,648 个验证检查点中提取结构化信息。
2. 将实验与想法关联：使用五级匹配器，将 63% 的训练运行与具体的想法文档关联起来。
3. 恢复每个运行的源代码：通过四种级联方法（日志提取、PyTorch重编译日志、sbatch任务脚本、文件名模糊匹配），成功为 95.6% 的训练运行找到了对应的 variant.py 源代码文件，并记录了其使用的具体机制。
4. 构建实验目录：为每次训练运行生成数据行，包含时间戳、实验结论（改进/中性/退化/无结论）、最佳步数、关联的源代码和想法文档。
5. 为每个实验生成描述：优先使用父级想法文档（~6,580 行）或源代码 docstring 作为描述。对于剩余的 ~3,800 个运行，使用 LLM 根据运行 ID 和日志前缀生成 1-2 句机制摘要。
6. 为描述生成向量嵌入：提供了两种嵌入后端：OpenAI 的 text-embedding-3-large（高精度）和 BGE-large（本地、免费）。
7. 构建时间快照：创建了 40 个时间快照，每个快照冻结了在特定时间点可见的全部信息（先前已提出的想法、已被否决的想法、当前最优方案等），并明确了哪些是未来的改进。这些快照被划分为 16 个开发集和 24 个测试集快照。
8. 校准评分器：生成了 78 个标记样本（包括重复的、未来的、改述的、跨范围的以及格式错误的样本），通过余弦相似度阈值扫描，最终将阈值定为 0.75，在标记样本上达到了 87% 的准确率。

使用方法与访问

该数据集以 Python 库的形式发布，可通过 pip 安装（pip install evo-autoresearch-novelty-bench），数据文件（Parquet 格式）会在首次使用时从 Hugging Face 自动下载。novelty_bench 模块提供了丰富的 API 接口：

• 浏览数据：nb.load_experiments()、nb.load_snapshots()、nb.load_ideas()。
• 评估想法：nb.score(snapshot, candidates) 函数用于评估代理提出的候选想法。
• 创建评测环境：通过一个独立的 scaffold 仓库，可以生成一个时间快照对应的评测工作目录，代理在此目录中基于最小化上下文信息（仅提供任务目标和当前最优方案）提出候选想法。

评分机制

评分公式为一个综合得分，包含三个部分： set_score = sum(per_candidate_scores) + 0.5 × diversity_bonus + 0.1 × validity_term

• 多样性奖励：鼓励提出机制上不同的想法，使用 N 个候选想法之间的平均余弦距离计算。
• 有效性奖励：奖励所有候选想法都符合基本的结构规范。

单个候选想法的评分优先顺序如下：

1. 无效 (Invalid)：结构不完整，得分 -1.0。
2. 新颖且已验证 (Novel_Validated)：预测了未来成功的实验，得分由该实验的重要性和匹配置信度决定。这是最高奖励类别。
3. 重复发现 (Rediscovery)：重复了之前已经尝试过（尤其是已失败或已被否决）的想法，得分 -0.5（并乘以一个基于失败原因的惩罚系数）。
4. 新颖但未验证 (Novel_Unvalidated)：没有匹配到任何已知的过去或未来实验，得 +0.3。

优先规则：如果一个想法重复了过去的某个方案，但这个方案最终证明是一条成功的未来路线，则该想法被判定为“新颖且已验证”（预测成功），而非“重复发现”。

评分后台：

• 默认 (llm-hybrid)：首先使用 text-embedding-3-large 进行快速检索（找最近的 20 个过去和 20 个未来方案），然后由 gpt-5-mini（结构化输出）进行最终分类，捕捉余弦相似度可能遗漏的语义改写。成本约为 $0.005/5 个候选想法。
• 确定性模式 (cosine)：使用纯余弦相似度阈值（0.75）判定，成本极低（约 $0.0003/5 个候选想法），适合需要完全可复现结果的排行榜。

已知局限

由于数据源自已存档的日志文件，该数据集无法重建以下信息：代理与协调系统的对话、其累积的上下文窗口、实时的网络搜索记录、做出决策的推理过程、人类操作员的干预行为、集群的运行状态以及模型自身的知识截止日期。这意味着代理必须在近乎空白的状态下，仅凭自身能力（如联网搜索、查阅论文）来获取外部知识。

搜集汇总

数据集介绍

构建方式

该数据集基于Prime Intellect的自主竞速实验档案构建，包含10,380次训练运行、646份想法文档及337,648个验证检查点。构建流程始于对8个草稿板（涵盖2个智能体×4个波次）的完全解析，通过标准化每波模式与解析训练日志，恢复99.5%运行的真实启动时间戳。随后采用五级匹配器将63%的运行与正式想法文档关联，并经由四级级联机制（日志提取、动态重编译警告、批处理脚本存根、名称词干模糊匹配）将95.6%的运行与变体文件链接。在此基础上构建实验目录，为每次运行补充时间戳、性能判定及关联变体信息，并利用想法文档、变体文档字符串或大语言模型为每项实验撰写描述。最后通过嵌入生成与40个时间锚定快照，构建出具备评估能力的基准数据集。

特点

该数据集的核心特征在于其时间敏感性与前瞻性评估机制。40个快照按时间锚定于不同波次运行弧线的10%、30%、50%、70%与90%分位点，每个快照冻结了截止时刻的可见先验知识、未来尚未发现的改进方案、已被智能体舍弃的想法以及当前最优方案，从而实现了对研究假设新颖性的严格评估。评分体系综合了候选方案的个体分数、多样性奖励（候选方案间平均余弦距离）与有效性奖励（结构合规比例），并采用未来优先的分类原则——若复制了最终成为优胜路线的先验，则视为预测而非重现。内置的llm-hybrid评判器通过余弦检索筛选近邻后，由大语言模型进行结构化分类与置信度加权，最终以0.005美元/5候选方案的成本实现高精度评估。

使用方法

数据集通过Python包形式发布，安装后即可无缝调用。用户可加载实验数据（按智能体、波次或性能判定筛选）、快照（16个开发快照用于调参，24个测试快照保持隔离）及全部想法文档。评估流程包含两个路径：直接评分模式接收候选方案文件路径，返回包含详细解释的评分结果；进阶使用可通过脚手架仓库为智能体构建工作目录，提供接近空白的状态（仅含目标、波次规则、当前最佳步数与起点变体文件），迫使智能体依赖自身能力收集背景信息。评分支持llm-hybrid与cosine两种后端，前者约0.005美元/组，后者完全零大语言模型调用成本约0.0003美元/组，适应不同精度与预算需求。

背景与挑战

背景概述

在人工智能研究领域，自主科研代理能否提出真正具有创新性的假说，是衡量其智能水平的关键维度。autoresearch-novelty-bench基准数据集由Evo团队于2025年构建，基于Prime Intellect的自主速度优化实验档案，旨在系统性评估AI研究代理所提假说的新颖性与前瞻性。该数据集巧妙地将时间快照机制融入评估框架，通过追踪两个AI代理（Claude Code与Codex）在modded-nanogpt优化竞赛中的10,380次训练轨迹、646份思想记录与337,648个验证检查点，构建了40个时间锚定的评估场景。这一开创性工作首次实现了对AI科研假说新颖性的量化度量，为自主科研代理的评估开辟了新范式，对推动科学发现自动化的方法论革新具有深远影响。

当前挑战

该数据集面临的挑战主要集中在假说新颖性判断的复杂性与数据构建的完整性两方面。在领域问题层面，如何准确区分假说的真正新颖与对已有发现的重新发现构成核心难题，尤其是当余弦相似度无法捕捉语义层面的本质差异时，需要设计精妙的度量机制。研究者创新性地采用倒置优先策略——将未来被验证的假说置于更高优先级，并融合LLM推理与嵌入检索的混合判断器，在78个标记案例上达到87%的准确率。在构建过程中，最大的技术挑战在于从杂乱的实验档案中恢复完整的假说-运行映射关系，团队通过五级匹配器和四重级联恢复策略将variant.py的链接率从54%提升至95.6%，同时仅花费0.26美元即完成对3,800条无文档运行记录的描述生成，展现了计算资源与算法设计的精妙平衡。

常用场景

经典使用场景

在人工智能研究的前沿领域，评估自主科研智能体是否具备真正创新性的科学假设生成能力，始终是一个悬而未决的难题。该数据集为此提供了首个系统化的评测基准，其典型应用场景是给定一个历史快照时刻的科研进展状态，让被评估的智能体提出若干候选假设，然后自动量化这些假设的机制新颖性、对后来突破性工作的预见性，以及与已有工作的重复程度。实验者可以自由选取不同时间节点、不同实验范围的快照，在统一框架下比较多个智能体的创新表现。

实际应用

在真实的生产环境中，该数据集可以被用于构建AI科学家助手的创新预警与筛选系统。研究团队将待审阅的新假设投入评测管道，系统即刻返回该假设与已有实验记录的相关性、与被淘汰路线的冲突程度，以及对后续成功方向的前瞻性评估。这种即时评判机制极大地压缩了科研假设从提出到验证的反馈周期，尤其适用于资源配置决策场景，帮助团队迅速识别出具备真正突破潜力的高价值研究方向，淘汰已经被证伪或低效的路线。

衍生相关工作

围绕该数据集，已经涌现出若干开拓性工作。数据集的构建过程本身释放了一个完整的批量化处理管线，涵盖从原始实验日志到结构化评测快照的完整转化流程，为未来自主科研日志的高效归档和复盘提供了可复现的工程典范。基于其精心标定的余弦相似度阈值和LLM混合判准器，研究者可以开发更鲁棒的新颖性检测算法，或者训练专门的语言模型来模仿该裁判的行为，从而构建端到端的假设创新性预测系统。该数据集还催生了对智能体科研过程中隐性决策行为的反事实推理方法，推动了自主科研可解释性研究的新范式。