open-llm-leaderboard-old/details_Weyaxi__test-help-steer-filtered-orig

数据集 Evaluation run of Weyaxi/test-help-steer-filtered-orig 是在模型 Weyaxi/test-help-steer-filtered-orig 在 Open LLM Leaderboard 上的评估运行中自动生成的。数据集包含1个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行可以在每个配置中找到，分割名称使用运行的时间戳。train 分割始终指向最新结果。此外，results 配置存储了所有运行的聚合结果，并用于计算和显示 Open LLM Leaderboard 上的聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of Weyaxi/test-help-steer-filtered-orig

数据集描述

数据集摘要

数据集是在模型 Weyaxi/test-help-steer-filtered-orig 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由1个配置组成，每个配置对应一个评估任务。

数据集是从1次运行中创建的。每次运行可以在每个配置中找到特定的拆分，拆分名称使用运行的时间戳。"train" 拆分始终指向最新的结果。

一个额外的配置 "results" 存储了所有运行的聚合结果（并用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

加载运行详细信息的方法如下： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Weyaxi__test-help-steer-filtered-orig", "harness_gsm8k_5", split="train")

最新结果

以下是 2023-12-02T13:28:23.925402 运行的最新结果：

python { "all": { "acc": 0.09628506444275967, "acc_stderr": 0.008125264128215877 }, "harness|gsm8k|5": { "acc": 0.09628506444275967, "acc_stderr": 0.008125264128215877 } }

数据集结构

配置

• harness_gsm8k_5

  • 拆分: 2023_12_02T13_28_23.925402
    • 路径: **/details_harness|gsm8k|5_2023-12-02T13-28-23.925402.parquet
  • 拆分: latest
    • 路径: **/details_harness|gsm8k|5_2023-12-02T13-28-23.925402.parquet

• results

  • 拆分: 2023_12_02T13_28_23.925402
    • 路径: results_2023-12-02T13-28-23.925402.parquet
  • 拆分: latest
    • 路径: results_2023-12-02T13-28-23.925402.parquet

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard对模型Weyaxi/test-help-steer-filtered-orig进行自动化评估的过程中生成的。数据集仅包含一个配置，对应被评估的单一任务。整个数据集由一次运行创建，每次运行的结果以时间戳命名的分割形式存储在配置中，其中“train”分割始终指向最新的评估结果。此外，还设有一个名为“results”的补充配置，用于汇总并存储所有评估的聚合指标，这些指标被用于在Leaderboard上计算和展示模型的综合表现。

特点

数据集的结构设计精巧，将每次运行的详细结果与聚合指标分离存储，既保留了原始评估的细粒度信息，又便于快速获取模型在特定任务上的整体性能。每个配置下的分割均以精确的时间戳命名，确保了评估历史版本的可追溯性。数据集仅包含一个任务配置，聚焦于GSM8K数学推理基准，其评估指标为准确率及其标准误差，体现了对模型在数学问题求解能力上的量化考察。

使用方法

用户可通过HuggingFace的datasets库便捷地加载数据集。具体而言，使用load_dataset函数，指定数据集名称、配置名（如harness_gsm8k_5）及所需的分割（如train）即可获取特定评估运行的详细结果。对于获取聚合指标，可加载“results”配置。若需访问历史评估数据，则通过对应时间戳的分割名称进行检索，从而支持对不同时间点模型表现的对比分析。

背景与挑战

背景概述

大语言模型（LLM）的飞速发展催生了对其性能进行系统化评估的迫切需求，Open LLM Leaderboard应运而生，成为衡量模型在多样化任务上表现的重要基准。该数据集创建于2023年12月，由HuggingFace团队主导，核心研究人员包括Clémentine Fourrier等，旨在为模型Weyaxi/test-help-steer-filtered-orig提供自动化评估结果的标准化存储与复现机制。数据集聚焦于数学推理任务GSM8K，通过记录单次运行中模型在5-shot设置下的准确率与标准误差，揭示了该模型在复杂推理场景中的局限性。其影响力在于为开源社区提供了透明、可复现的模型性能追踪工具，促进了LLM评估的规范化与可信度提升。

当前挑战

该数据集所解决的领域挑战在于数学推理任务的评估复杂性，GSM8K要求模型具备多步逻辑推导与数值运算能力，而当前模型仅达到9.6%的准确率，暴露出大语言模型在精确推理上的显著短板。构建过程中面临的挑战包括：评估流程的自动化与标准化，需确保每次运行的任务配置与数据分割一致；结果存储的版本控制，需通过时间戳区分多次运行，避免数据混淆；以及跨任务结果的聚合与比较，需设计统一指标以支持Leaderboard上的公平排名。此外，数据集仅包含单次运行结果，缺乏多次评估的统计稳定性，可能引入偶然性偏差，影响对模型真实能力的判断。

常用场景

经典使用场景

在大型语言模型（LLM）评估领域，该数据集作为Open LLM Leaderboard的标准化评测组件，主要用于量化模型在数学推理任务上的表现。具体而言，它聚焦于GSM8K基准测试，通过记录模型在5样本少样本学习设置下的准确率及其标准误差，为研究者提供可复现的细粒度评估结果。其设计允许用户按时间戳加载特定运行批次的数据，从而支持对模型性能演变的纵向追踪，是衡量LLM数值推理能力的经典工具。

实际应用

在实际应用中，该数据集可被模型开发者用于自动化评测流水线，快速验证模型迭代版本在数学问题求解上的进展。例如，通过加载最新运行结果，团队能即时获得准确率反馈，从而调整微调策略或数据筛选方案。此外，它支持对历史运行数据的回溯分析，帮助识别模型在特定训练阶段后的退化或提升，为工业级LLM部署中的质量监控提供了高效工具。

衍生相关工作

该数据集衍生了多项重要工作，如基于其评测结果开展的模型性能排名研究，以及利用其细粒度数据探索少样本学习与提示工程对推理能力的影响。此外，它启发了针对GSM8K任务的数据增强方法，例如通过分析错误案例的分布来设计针对性训练集。这些工作共同促进了LLM数学推理领域从黑箱评估向可解释性分析的转变，并催生了更鲁棒的基准测试框架。