open-llm-leaderboard/details_cloudyu__microsoft-phi-2-sft

数据集是在模型cloudyu/microsoft-phi-2-sft的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由63个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行可以在每个配置中找到，分割以运行的时间戳命名。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of cloudyu/microsoft-phi-2-sft

数据集来源

• dataset_summary: 该数据集是自动创建于模型cloudyu/microsoft-phi-2-sft在Open LLM Leaderboard上的评估运行过程中。

数据集构成

• 数据结构: 由63个配置组成，每个配置对应一个评估任务。
• 创建来源: 数据集从2次运行中创建，每次运行作为一个特定的分割，分割名称使用运行的时间戳。
• 特殊配置: 包含一个名为"results"的额外配置，用于存储所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_cloudyu__microsoft-phi-2-sft", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 来自2024-04-16T10:01:26.012705的运行。
• 结果内容: 包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

数据集详细配置

配置列表

• harness_arc_challenge_25
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5

每个配置包含多个数据文件，根据不同的时间戳（如2024_04_16T09_49_41.081830和2024_04_16T10_01_26.012705）进行分割，以及一个指向最新结果的"latest"分割。

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评测框架下，针对模型cloudyu/microsoft-phi-2-sft进行自动评估过程中生成的。数据集由63个配置项构成，每个配置对应一个被评估的任务。整个数据集来源于两次独立的运行，每次运行的结果以具体时间戳命名，作为每个配置下的独立分割。其中，"train"分割始终指向最新一次运行的评测结果。此外，还包含一个名为"results"的额外配置，用于存储所有运行结果的聚合数据，并服务于Open LLM Leaderboard上聚合指标的计算与展示。

特点

数据集结构精巧，以任务为维度划分配置，每个配置下包含多次运行的分割，便于进行历史结果追溯与对比。最新运行结果自动归入"train"分割，确保了数据访问的便捷性与时效性。聚合配置"results"整合了全部任务的评测指标，如准确率及其标准误差，为模型的整体性能评估提供了量化依据。评测任务覆盖广泛，包括ARC挑战集、HellaSwag、GSM8K、TruthfulQA、Winogrande以及涵盖多学科的MMLU测试集，全面反映了模型在推理、常识、数学、知识理解等多方面的能力。

使用方法

用户可通过HuggingFace的datasets库便捷加载数据。例如，使用load_dataset函数指定数据集名称与目标配置（如"harness_winogrande_5"），并通过split参数选择"train"以获取最新结果。加载后的数据可直接用于分析模型在各任务上的细粒度表现。如需查看历史运行详情，只需将split参数替换为对应的时间戳即可。此外，"results"配置提供了所有任务的聚合指标，便于进行模型性能的快速概览与横向比较。

背景与挑战

背景概述

该数据集源于对开源大语言模型微调版本的评估，具体针对HuggingFace社区中cloudyu用户上传的microsoft-phi-2-sft模型。该模型基于微软Phi-2进行监督微调，旨在提升小型语言模型在复杂推理与多领域知识上的表现。数据集由Open LLM Leaderboard平台自动生成，于2024年4月完成评估，记录了模型在63个任务配置上的详细性能，涵盖ARC挑战、HellaSwag、GSM8K、TruthfulQA、WinoGrande以及涵盖57个学科的MMLU基准测试。作为社区驱动的评估资源，该数据集为比较不同微调策略对Phi-2模型的影响提供了标准化参考，推动了高效小参数量模型在通用智能评估中的透明化进程。

当前挑战

当前挑战主要体现在三个方面：其一，模型在数学推理（如GSM8K准确率仅51.2%）和抽象代数（准确率31%）等任务上表现薄弱，反映出小参数模型在符号推理与深度逻辑理解上的固有限制。其二，数据集构建过程面临多任务评估一致性挑战——63个配置需统一采样策略与评估脚本，且两次运行结果需通过时间戳对齐，确保数据可复现。其三，MMLU中部分领域（如大学化学、形式逻辑）准确率低于50%，揭示出模型在专业学科知识覆盖上的不均衡性，这对后续微调数据的质量与多样性提出了更高要求。

常用场景

经典使用场景

在自然语言处理与大规模语言模型的评估领域，open-llm-leaderboard/details_cloudyu__microsoft-phi-2-sft 数据集作为 Open LLM Leaderboard 的标准化评测记录，被广泛应用于模型性能的横向对比。该数据集涵盖了从常识推理（如 ARC-Challenge、HellaSwag）到数学求解（GSM8K）和多学科知识问答（MMLU）等63个评测任务，为研究者提供了细粒度、可复现的模型能力基准。其经典使用场景在于通过加载特定任务的配置与分割，精确复现某次评测的完整细节，从而支持对模型在逻辑推理、知识记忆和语言理解等多维度的深入分析。

实际应用

在实际应用中，该数据集支撑了模型选型与部署前的性能验证。企业或开发者可通过查询该数据集中的最新评测结果，快速判断一个模型（如 cloudyu/microsoft-phi-2-sft）是否适合特定业务场景，例如在需要高准确率常识推理的任务中参考其 ARC-Challenge 得分。此外，数据集中的细粒度任务结果可用于自动化测试流水线，当模型更新时，通过对比历史评测数据来监控回归问题，确保模型在生产环境中的稳定性与可靠性。

衍生相关工作

该数据集衍生了一系列围绕模型评测标准化的重要工作。基于其结构化记录，研究者开发了自动化评测工具链（如 LM Evaluation Harness），实现了模型与评测任务的解耦。同时，数据集的公开性催生了多篇关于模型能力图谱分析的研究，例如通过聚类不同任务的表现来揭示模型的知识分布特征。此外，该数据集还被用作训练数据，用于构建评测结果预测模型，以估计未评测任务上的性能，进一步拓展了其在模型能力预估与资源优化分配方面的应用价值。