open-llm-leaderboard-old/details_01-ai__Yi-6B

该数据集是在评估模型01-ai/Yi-6B时自动创建的，数据集由3个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of 01-ai/Yi-6B

数据集描述

数据集概述

数据集是在模型 01-ai/Yi-6B 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由3个配置组成，每个配置对应一个评估任务。

数据集是从1次运行中创建的。每次运行都可以在每个配置中作为一个特定的分割找到，分割名称使用运行的 timestamp。"train" 分割始终指向最新的结果。

额外的配置 "results" 存储所有运行的聚合结果（用于在 Open LLM Leaderboard 上计算和显示聚合指标）。

最新结果

以下是来自运行 2023-11-08T12:58:11.094136 的最新结果：

python { "all": { "em": 0.4384437919463087, "em_stderr": 0.005081515214965134, "f1": 0.47321203859060423, "f1_stderr": 0.004951302124232466, "acc": 0.43228738137822953, "acc_stderr": 0.010759329857359324 }, "harness|drop|3": { "em": 0.4384437919463087, "em_stderr": 0.005081515214965134, "f1": 0.47321203859060423, "f1_stderr": 0.004951302124232466 }, "harness|gsm8k|5": { "acc": 0.12661106899166036, "acc_stderr": 0.009159715283081087 }, "harness|winogrande|5": { "acc": 0.7379636937647988, "acc_stderr": 0.012358944431637561 } }

数据集结构

配置

• harness_drop_3

  • 分割: 2023_11_08T12_58_11.094136
    • 路径: **/details_harness|drop|3_2023-11-08T12-58-11.094136.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-11-08T12-58-11.094136.parquet

• harness_gsm8k_5

  • 分割: 2023_11_08T12_58_11.094136
    • 路径: **/details_harness|gsm8k|5_2023-11-08T12-58-11.094136.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-11-08T12-58-11.094136.parquet

• harness_winogrande_5

  • 分割: 2023_11_08T12_58_11.094136
    • 路径: **/details_harness|winogrande|5_2023-11-08T12-58-11.094136.parquet
  • 分割: latest
    • 路径: **/details_harness|winogrande|5_2023-11-08T12-58-11.094136.parquet

• results

  • 分割: 2023_11_08T12_58_11.094136
    • 路径: results_2023-11-08T12-58-11.094136.parquet
  • 分割: latest
    • 路径: results_2023-11-08T12-58-11.094136.parquet

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Open LLM Leaderboard为模型性能的横向对比提供了标准化平台。该数据集源自对01-ai/Yi-6B模型的一次完整评估运行，系统性地记录了其在三项核心任务上的表现。数据集结构精巧，共包含四个配置项，其中三个分别对应DROP、GSM8K和Winogrande评估任务，每个任务配置内以运行时间戳为标识划分数据切片，最新结果统一归入'train'切片。另设'results'配置，专门存储本次运行的聚合指标，为排行榜的指标计算与可视化展示提供数据基础。

特点

该数据集具有鲜明的结构化与时效性特征。其设计采用任务导向的配置分离策略，每个配置独立存储对应评估任务的细粒度结果，便于针对特定能力维度进行深入分析。数据切片以运行时间戳命名，清晰记录了评估的时间轨迹，而'train'切片始终指向最新成果，确保了数据引用的便捷性与一致性。聚合结果配置则提供了跨任务的综合指标，涵盖精确匹配率、F1分数及准确率等关键度量，并附有标准误差，充分反映了模型在不同场景下的稳健性。

使用方法

研究者可通过HuggingFace的datasets库便捷地调用该数据集。加载时需指定数据集标识符与目标配置名称，例如使用'harness_winogrande_5'配置加载Winogrande任务的评估细节，并通过split参数选择'train'以获取最新结果。若需追溯特定历史运行，可直接以时间戳命名的切片进行访问。此外，'results'配置提供了便捷的聚合数据入口，适用于快速获取模型整体性能概览，为后续比较分析或报告生成提供高效支持。

背景与挑战

背景概述

随着大规模语言模型的迅猛发展，如何系统性地评估其多维度能力成为学界与工业界共同关注的核心议题。由Hugging Face团队于2023年发起的Open LLM Leaderboard项目，旨在通过标准化评测框架为开源大模型提供公平、透明的性能比较平台。该数据集记录了零一万物开发的Yi-6B模型在2023年11月8日的评测运行结果，覆盖了DROP阅读理解、GSM8K数学推理及WinoGrande常识推理三项关键任务。作为中文社区首个跻身全球前列的6B参数级模型，Yi-6B在此次评测中展现出独特的性能特征，其WinoGrande准确率达73.8%，但GSM8K仅12.7%的表现揭示了模型在数学推理上的局限性。该数据集不仅为模型迭代提供了量化依据，更推动了开源大模型评测范式的规范化进程。

当前挑战

该数据集所反映的核心挑战体现在三个层面：首先，在评测任务维度上，当前基准测试难以覆盖模型在真实世界应用中的复杂需求，如多轮对话、指令遵循及跨语言迁移能力，单一数值指标无法全面刻画模型的实际效用。其次，构建过程中面临评测标准一致性的挑战，不同任务间的难度差异、提示模板的敏感性以及随机种子对结果的影响，使得跨模型比较存在潜在偏差。此外，作为自动化生成的评测数据集，其数据格式与元信息的标准化程度有待提升，例如评测配置与结果存储的分离设计虽便于扩展，但增加了下游研究者复现与二次分析的复杂度，尤其当多次运行结果共存时，如何确保“最新”分片逻辑的明确性与可追溯性成为关键难题。

常用场景

经典使用场景

在大型语言模型的竞技舞台上，Open LLM Leaderboard 上的评估运行数据集为模型性能的横向对比提供了标准化的基准。以 01-ai/Yi-6B 模型为例，该数据集通过整合 DROP、GSM8K 和 Winogrande 等多样化任务，系统性地记录了模型在阅读理解、数学推理与常识推理等维度的表现。研究者可借助这一结构化数据，精准剖析模型在不同能力维度上的优势与短板，从而为模型优化与迭代提供数据驱动的决策依据。

实际应用

在实际应用中，该数据集为模型选型与部署决策提供了坚实的数据支撑。开发团队可依据 Yi-6B 在 Winogrande 上 73.8% 的准确率与 GSM8K 上 12.7% 的准确率，快速评估其在自然语言理解与数学推理场景中的适用性。无论是构建智能客服系统、教育辅助工具，还是进行知识问答平台的模型调优，这一评估数据都能帮助工程师精准预判模型在真实场景中的表现，从而降低试错成本，提升产品落地的效率与可靠性。

衍生相关工作

该数据集的衍生价值体现在催生了一系列关于模型评估方法论与性能分析的研究工作。例如，基于此类结构化评估记录，学者们开发了自动化模型诊断工具，能够识别模型在特定任务上的系统性偏差；同时，也有工作利用多次运行的时间序列数据，探索模型性能的稳定性与随机性。此外，该数据集为构建更全面的模型排行榜提供了范式参考，推动了多任务、多指标评估框架的标准化，进而促进了开源社区中模型透明性与可复现性文化的蓬勃发展。