MathArena/final_answer_comps

MathArena所有最终答案竞赛数据集包含了MathArena中所有公开的最终答案竞赛，包括AIME 2025、HMMT 2025、CMIMC 2025、BRUMO 2025和Apex 2025。数据集包含问题索引、完整的问题陈述、问题的正确答案、问题类型（可能是组合数学、数论、代数、几何中的一种或多种）以及竞赛名称等信息。原始问题来源于2025年的各种竞赛，问题被提取并转换为LaTeX格式后进行了验证。该数据集遵循知识共享署名-非商业性使用-相同方式共享4.0国际许可。

The MathArena All Final Answer Competitions dataset contains all public final-answer competitions in MathArena, including AIME 2025, HMMT 2025, CMIMC 2025, BRUMO 2025, and Apex 2025. The dataset includes problem index, full problem statement, ground-truth answer to the question, problem type (which can be one or more of Combinatorics, Number Theory, Algebra, Geometry), and competition name. The original questions were sourced from various 2025 competitions, extracted, converted to LaTeX, and verified. The dataset is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International license.

搜集汇总

数据集介绍

构建方式

该数据集汇集了MathArena平台中所有公开的最终答案竞赛题目，涵盖AIME 2025、HMMT 2025、CMIMC 2025、BRUMO 2025和Apex 2025五项赛事。原始题目源自2025年的各类数学竞赛，经过提取、转换为LaTeX格式并严格验证后形成。数据集包含139个样本，每个样本由问题索引、标准答案、问题类型标签、问题陈述（通常以LaTeX源码存储）、竞赛标识及来源信息构成。数据以单一训练集形式提供，采用CC BY-NC-SA 4.0许可协议发布。

特点

该数据集的核心特色在于其聚焦于数学竞赛的最终答案，而非解题过程，为评估大型语言模型在数学推理任务上的表现提供了标准化的测试基准。每个问题均附带精确的黄金标准答案和类型标签，便于进行细粒度的性能分析。数据集覆盖多个2025年高难度竞赛，体现了当前数学竞赛的前沿难度和多样性。此外，所有问题均以LaTeX格式呈现，确保了数学符号的准确性和可移植性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，指定配置名为'default'并读取训练集。每条数据包含'problem'字段作为输入问题，'answer'字段作为目标标签。研究者可将问题送入待评估的模型，获取模型输出后与标准答案进行比对，以计算准确率等指标。数据集支持按'competition'或'problem_type'字段进行分组分析，便于深入探究模型在不同竞赛或题型上的表现差异。

背景与挑战

背景概述

在大型语言模型（LLM）数学推理能力评估的浪潮中，MathArena 平台应运而生，旨在提供比传统静态基准更为动态与全面的评测环境。该数据集由苏黎世联邦理工学院（ETH Zurich）的安全可靠智能系统实验室（SRI Lab）于2026年创建，主要研究人员包括 Jasper Dekoninck、Nikola Jovanović 及 Martin Vechev 等。其核心研究问题在于如何通过汇集2025年度多项高难度数学竞赛（如 AIME、HMMT、CMIMC、BRUMO 及 Apex）的最终答案，构建一个标准化、可复现的评测基准，用以衡量 LLM 在复杂数学推理任务上的真实表现。该数据集的影响力在于其填补了现有数学推理基准在时效性与竞赛多样性上的空白，为后续研究提供了兼具权威性与挑战性的验证资源。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：数学竞赛题目往往要求模型具备多步逻辑推理、符号操作与数值精度控制能力，而当前 LLM 在应对这种需要严谨推导与精确计算的任务时，仍普遍存在幻觉与计算错误问题。此外，构建过程中亦遭遇多重困难，包括从不同竞赛来源中提取并统一格式的题目与答案时，需处理 LaTeX 表达式的歧义性、答案类型的多样性（如整数、分数与表达式），以及确保最终答案的准确无误。同时，由于竞赛题目具有高度时效性，如何持续更新并维护数据集的代表性，避免模型因数据泄露而过拟合，亦是维持其评测效用的关键挑战。

常用场景

经典使用场景

在数学推理与大规模语言模型评估的交叉领域中，MathArena/final_answer_comps数据集被广泛用作标准化评测基准。该数据集汇集了2025年度AIME、HMMT、CMIMC、BRUMO及Apex等顶级数学竞赛的最终答案，共计139道题目，覆盖代数、几何、数论、组合数学等多个核心分支。研究者通常以此数据集为测试集，衡量语言模型在封闭式数学问题上的解题准确率与推理稳定性。其以LaTeX格式呈现的问题陈述与精确的黄金答案，为自动化评估提供了严谨的参照，尤其适用于对比不同模型在复杂符号推理任务中的表现差异。

实际应用

在实际应用层面，该数据集为教育科技与智能辅导系统的开发提供了关键的验证工具。基于此数据集训练的评估流程，可被嵌入到自动化数学竞赛模拟平台中，用于实时诊断学生的解题薄弱环节，或生成针对性的练习推荐。此外，数据集中明确的竞赛标识与题型分类，使得其能够服务于个性化学习路径的构建——例如，根据模型在特定竞赛（如AIME）上的表现，调整教学内容的难度梯度。在工业界，该数据集还被用于筛选具备高阶数学推理能力的语言模型，以适配需要精确数值计算与逻辑验证的领域，如金融风控建模或科学计算辅助。

衍生相关工作

该数据集的发布催生了一系列富有影响力的衍生工作。其中，MathArena平台本身即基于此数据集构建了完整的模型评估流水线，提出了超越传统准确率的细粒度分析指标，如解题步骤的语义一致性评分。后续研究进一步将其与思维链提示、自我一致性解码等技术结合，探索了增强模型在竞赛级数学问题上推理鲁棒性的方法。此外，部分工作利用该数据集的竞赛标签进行跨领域迁移学习，例如将HMMT题目上的推理模式迁移至CMIMC的几何问题中，验证了模型在数学子领域间的知识泛化能力。这些衍生研究共同推动了数学人工智能从简单计算向深度推理的范式演进。