TIGER-Lab/AIME25

AIME25数据集是关于数学问题的，包含小于1000条数据，用于问题回答任务。这个数据集来自2025年美国数学邀请赛(AIME)的第一部分考试。

The AIME25 dataset is focused on mathematical questions, containing fewer than 1,000 entries, designed for question-answering tasks. This dataset is derived from the first part of the 2025 American Invitational Mathematics Examination (AIME).

搜集汇总

数据集介绍

构建方式

AIME25数据集源自2025年美国数学邀请赛（AIME）第一轮考试的官方试题，由TIGER-Lab从Art of Problem Solving（AoPS）官方网站系统收集并整理而成。该数据集以纯文本形式收录了竞赛中的全部数学问题，无需额外标注或预处理，确保了原始试题的完整性与准确性。其构建过程简洁高效，直接面向数学推理与问题求解场景，为学术界和工业界提供了一个标准化的数学问答评估基准。

特点

AIME25数据集规模精炼，样本量不足千条，但每道题目均代表高难度数学竞赛的典型题型，涵盖代数、几何、数论、组合数学等多个分支。数据集采用英文标注，以问答形式组织，聚焦于数学推理能力的评估。其独特之处在于直接引用真实竞赛题目，具备极高的权威性和挑战性，适用于测试前沿人工智能模型在复杂数学推理任务上的表现，尤其适合作为大语言模型数学能力的基准测试集。

使用方法

该数据集可直接用于数学问答任务的模型评估与训练。使用时，用户需将每道数学问题作为输入，要求模型生成对应的答案。由于数据集遵循MIT开源协议，研究者可自由将其集成到评估管线中，例如结合零样本或少样本提示策略进行推理测试。建议搭配数学领域专用的评估指标（如准确率），以量化模型在符号运算、逻辑推导及多步解题方面的能力，从而推动数学人工智能研究的进展。

背景与挑战

背景概述

在数学推理领域，人工智能系统对复杂竞赛题目的解答能力已成为衡量其逻辑思维与符号运算水平的重要标尺。AIME25数据集源自2025年美国数学邀请赛（AIME）第一部分试题，由TIGER-Lab研究团队于2025年整理并公开发布。该竞赛以高难度数论、组合数学及代数问题著称，旨在评估参赛者超越标准课程框架的深度推理能力。作为最新年度基准，AIME25的引入为自然语言处理与数学推理交叉研究提供了极具挑战性的测试平台，其影响力体现在推动大语言模型从基础运算向多步逻辑推导的范式转变，同时为衡量模型在真实竞赛场景下的泛化性能树立了新标杆。

当前挑战

AIME25数据集面临的核心挑战涵盖双重维度。在领域问题层面，其试题要求模型具备跨章节知识整合能力，例如将模运算与多项式定理结合求解，这对当前大语言模型的符号推理与错误回溯机制构成严峻考验。在构建过程中，TIGER-Lab团队需确保试题文本格式的数学符号完整性与答案唯一性，同时需消除因竞赛规则限制（如禁止使用计算器）所隐含的解题路径歧义。此外，数据集规模不足千道题目，易导致模型在有限样本上过拟合，难以真实反映其泛化至新型数学问题的潜力。

常用场景

经典使用场景

在数学推理与人工智能交叉研究领域，AIME25数据集以其高难度、多步骤的数学竞赛题目著称，成为评估大语言模型数学能力的重要基准。其经典使用场景聚焦于测试模型在复杂代数、几何、数论及组合数学问题上的推理深度与解题准确性，尤其适用于探究模型是否具备类似人类竞赛选手的逐步推导与逻辑跳跃能力。研究者常借助此数据集剖析Transformer架构在符号运算与抽象概念理解上的局限性，从而推动神经符号系统融合等前沿方向的发展。

衍生相关工作

围绕AIME25数据集已衍生出一系列具有影响力的学术工作，包括但不限于基于强化学习的数学推理策略优化、针对多步推导错误的反事实生成方法，以及融合几何直觉的神经符号求解器。这些工作通常将AIME25作为核心评测集，与GSM8K、MATH等基准形成互补，共同构建了从基础算术到竞赛级推理的能力评估金字塔。此外，该数据集还激发了关于数学语言形式化表征的研究，例如将自然语言问题自动转换为Lean或Isabelle等定理证明器的输入格式，从而衔接了自然语言处理与自动定理证明两大社区。

数据集最近研究

最新研究方向

在数学推理与人工智能交叉领域，AIME25数据集作为2025年美国数学邀请赛（AIME I）的官方试题集合，正成为评估大型语言模型高阶数学能力的前沿基准。该数据集聚焦于竞赛级数学问题求解，涵盖代数、几何、数论与组合数学等核心分支，其题目设计强调逻辑链条的严密性与多步骤推理的复杂性。当前，研究者利用AIME25测试模型在符号运算、模式识别与抽象思维方面的极限，特别是在无需外部工具辅助下的纯文本推理表现。该数据集的发布恰逢大模型在数学领域取得突破性进展的热点时期，如GPT-4与Claude系列在AMC/AIME级别任务中的表现引发广泛讨论，而AIME25的引入为模型泛化能力与鲁棒性评估提供了更严苛的标尺。其意义在于推动数学AI从基础运算迈向真正的逻辑演绎，并揭示当前模型在应对需要创造性思维与深度策略规划的题目时仍存在的显著短板，从而指引未来研究向更精细化的推理架构与训练范式演进。