simpissa/countdown-qwen3-0.6b

这是一个名为Countdown Qwen3-0.6B Pass@10 Buckets的数据集，专注于倒计时算术问题。数据集根据Qwen/Qwen3-0.6B模型在每问题10次运行中的观察成功率进行过滤，包含三个子集：easy、medium和hard，分别对应不同的难度级别和成功率范围（如easy子集有505个问题，成功率4-6/10）。每个问题要求用户使用最多一次列出的源数字来构建达到目标值的算术表达式，答案需放在oxed{...}中，并提供规范解，但任何验证器有效的表达式都被接受。数据收集设置包括模型参数如最大令牌数1024、温度1.0和top_p 0.95，并禁用了Qwen思考功能。

This is a dataset named Countdown Qwen3-0.6B Pass@10 Buckets, focusing on countdown arithmetic problems. The dataset is filtered by the observed success rate of the Qwen/Qwen3-0.6B model over 10 rollouts per problem, and includes three subsets: easy, medium, and hard, corresponding to different difficulty levels and success rate ranges (e.g., the easy subset has 505 problems with 4-6 successes out of 10). Each problem asks for an arithmetic expression that reaches a target using each listed source number at most once, with the final answer required to be inside oxed{...}. Canonical solutions are provided, but any verifier-valid expression is accepted. Collection settings involve model parameters such as max_tokens 1024, temperature 1.0, top_p 0.95, and disabled Qwen thinking.

搜集汇总

数据集介绍

构建方式

该数据集基于Qwen/Qwen3-0.6B模型对倒计时算术问题的推理能力进行筛选构建。具体而言，研究团队首先收集大量倒计时算术问题，每个问题要求使用给定数字最多一次，通过算术运算得到目标值，并将最终答案置于\boxed{}内。随后，对每个候选问题执行10次独立生成，记录模型成功解决次数。依据成功率，将问题划分为三个难度子集：easy（成功4-6次）、medium（成功1-3次）和hard（成功1次），分别包含505、519和526个样本。生成参数为max_tokens=1024、temperature=1.0、top_p=0.95，并禁用Qwen的思维链功能。

特点

该数据集最显著的特点在于其细粒度的难度分级机制，基于同一模型在多次采样下的通过率进行客观划分，避免了人工标注的主观偏差。三个子集覆盖从中等稳健到高难度挑战的完整推理能力谱系，便于研究者针对性地评估和提升模型在算术推理任务上的表现。此外，数据集提供了规范化的解答格式与可验证的解决方案，确保评估的公平性与可重复性。通过记录每个问题的具体生成统计信息于manifest.json中，增强了数据使用过程的透明性。

使用方法

该数据集专为文本生成任务的训练与评估设计，使用前需通过HuggingFace加载对应的config名称（easy/medium/hard）以获取相应子集的train.jsonl文件。每个样本包含倒计时问题、目标值及可用的源数字列表，模型需生成包含\boxed{}格式答案的算术表达式。研究者可采用Pass@k等指标评估模型在不同难度层级上的推理准确性，或利用该数据集进行模型微调以提升算术推理能力。建议遵循原文的生成参数设置以确保结果的可比较性。

背景与挑战

背景概述

该数据集名为countdown-qwen3-0.6b，创建于大型语言模型推理能力评估蓬勃发展的时期，由研究团队基于Qwen/Qwen3-0.6B模型构建。其核心研究问题在于如何系统性地评估并划分算术推理问题的难度，从而为模型在计数（Countdown）任务上的表现提供细粒度的基准。通过记录单个模型在多次采样中的成功率，数据集将问题划分为easy、medium和hard三个等级，这一方法论为后续的少样本学习与Pass@K指标分析提供了重要参考，推动了算术推理任务自动评估与难度标定的精细化发展。

当前挑战

该数据集主要应对两大挑战。其一，算术推理领域长期缺乏统一的难度度量标准，传统方法依赖人工标注或问题长度等粗略特征，难以反映模型真实推理能力；该数据集通过模型自身的多次采样成功率构建难度分层，首次将模型局部认知特性引入难度标定，解决了横跨不同能力水平问题的类别划分问题。其二，构建过程中面临候选问题筛选与采样参数控制的挑战，需在固定temperature和top_p条件下，平衡rollout次数与计算成本，同时避免因思考链开启带来的干扰，确保难度分组的统计可靠性。

常用场景

经典使用场景

Countdown算术推理任务要求模型利用给定的若干数字，通过加减乘除等基本运算组合出一个指定的目标数值，每个数字至多使用一次。该数据集聚焦于评估与提升语言模型在有限步数内进行多步算术推理的能力，是衡量模型逻辑推理与数值操作水平的经典测试平台。研究者通常使用该数据集考察模型在严格约束下生成合法算术表达式、并确保结果精确匹配目标值的能力，尤其关注模型在多次采样中稳定推导出正确解的概率。

衍生相关工作

该数据集衍生了多项重要的相关工作，包括基于强化学习的推理策略优化、思维链提示工程的改进方法，以及针对算术推理的模型蒸馏与数据增强研究。例如，研究者利用该数据集的难度分级特性，探索了通过逐步增强问题复杂度的课程学习策略来提升模型推理性能；同时，该数据集也被用于评估和改进集束搜索、多样化采样等解码策略，以提升Pass@K指标。这些工作共同推动了语言模型在形式化推理任务上的系统性进步。

数据集最近研究

最新研究方向

该数据集聚焦于通过大语言模型在数学推理任务中的Pass@10成功率，将复杂算术问题按模型表现分层为easy、medium、hard三个难度等级。这一设计紧密关联当前大模型推理能力评估的前沿探索，尤其是在多轮采样下的稳定性与泛化性研究。通过构建基于Qwen3-0.6B模型实际表现的难度过滤机制，数据集为探究模型在数学推理中的边际性能与失败模式提供了可量化的基准，同时也为后续强化学习、课程学习等训练策略的优化提供了关键的难度阶梯参考，对推动可解释推理与细粒度模型评估具有重要价值。