open-llm-leaderboard-old/details_01-ai__Yi-1.5-6B

该数据集是在模型01-ai/Yi-1.5-6B在Open LLM Leaderboard上的评估运行期间自动创建的。它由63个配置组成，每个配置对应一个被评估的任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，使用运行的时间戳命名。train分割始终指向最新的结果。一个额外的配置results存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 01-ai/Yi-1.5-6B 在 Open LLM Leaderboard 上的运行过程中自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量：63 个配置
• 数据来源：1 次运行结果
• 数据分割：每个配置包含特定运行的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新结果。
• 额外配置："results" 配置存储所有运行的聚合结果，用于计算和显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-6B", "harness_winogrande_5", split="train")

最新结果

以下是 2024-05-16T21:03:53.282408 运行 的最新结果：

python { "all": { "acc": 0.6435154508815025, "acc_stderr": 0.032495836468992956, "acc_norm": 0.6482386981769215, "acc_norm_stderr": 0.03314244680961306, "mc1": 0.29865361077111385, "mc1_stderr": 0.016021570613768542, "mc2": 0.4401764913300537, "mc2_stderr": 0.014805595920824971 }, "harness|arc:challenge|25": { "acc": 0.5264505119453925, "acc_stderr": 0.014590931358120167, "acc_norm": 0.5725255972696246, "acc_norm_stderr": 0.014456862944650649 }, "harness|hellaswag|10": { "acc": 0.578868751244772, "acc_stderr": 0.004927314729433553, "acc_norm": 0.7792272455686118, "acc_norm_stderr": 0.004139199120463524 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.37, "acc_stderr": 0.04852365870939099, "acc_norm": 0.37, "acc_norm_stderr": 0.04852365870939099 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5407407407407407, "acc_stderr": 0.04304979692464241, "acc_norm": 0.5407407407407407, "acc_norm_stderr": 0.04304979692464241 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6644736842105263, "acc_stderr": 0.03842498559395268, "acc_norm": 0.6644736842105263, "acc_norm_stderr": 0.03842498559395268 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.660377358490566, "acc_stderr": 0.029146904747798342, "acc_norm": 0.660377358490566, "acc_norm_stderr": 0.029146904747798342 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7083333333333334, "acc_stderr": 0.038009680605548594, "acc_norm": 0.7083333333333334, "acc_norm_stderr": 0.038009680605548594 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.44, "acc_stderr": 0.04988876515698589, "acc_norm": 0.44, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.55, "acc_stderr": 0.049999999999999996, "acc_norm": 0.55, "acc_norm_stderr": 0.049999999999999996 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.4, "acc_stderr": 0.049236596391733084, "acc_norm": 0.4, "acc_norm_stderr": 0.049236596391733084 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6127167630057804, "acc_stderr": 0.03714325906302065, "acc_norm": 0.6127167630057804, "acc_norm_stderr": 0.03714325906302065 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4411764705882353, "acc_stderr": 0.049406356306056595, "acc_norm": 0.4411764705882353, "acc_norm_stderr": 0.049406356306056595 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.79, "acc_stderr": 0.04093601807403326, "acc_norm": 0.79, "acc_norm_stderr": 0.04093601807403326 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.6553191489361702, "acc_stderr": 0.031068985963122145, "acc_norm": 0.6553191489361702, "acc_norm_stderr": 0.031068985963122145 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.45614035087719296, "acc_stderr": 0.046854730419077895, "acc_norm": 0.45614035087719296, "acc_norm_stderr": 0.046854730419077895 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.6620689655172414, "acc_stderr": 0.039417076320648906, "acc_norm": 0.6620689655172414, "acc_norm_stderr": 0.039417076320648906 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.5026455026455027, "acc_stderr": 0.02575094967813039, "acc_norm": 0.5026455026455027, "acc_norm_stderr": 0.02575094967813039 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.48412698412698413, "acc_stderr": 0.04469881854072606, "acc_norm": 0.48412698412698413, "acc_norm_stderr": 0.04469881854072606 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.33, "acc_stderr": 0.04725815626252605, "acc_norm": 0.33, "acc_norm_stderr": 0.04725815626252605 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7774193548387097, "acc_stderr": 0.02366421667164251, "acc_norm": 0.7774193548387097, "acc_norm_stderr": 0.02366421667164251 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.6206896551724138, "acc_stderr": 0.034139638059062345, "acc_norm": 0.6206896551724138, "acc_norm_stderr": 0.034139638059062345 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.8, "acc_stderr": 0.031234752377721175, "acc_norm": 0.8, "acc_norm_stderr": 0.031234752377721175 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.803030303030303, "acc_stderr": 0.028335609732463362, "acc_norm": 0.803030303030303, "acc_norm_stderr": 0.028335609732463362 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8756476683937824, "acc_stderr": 0.023814477086593556, "acc_norm": 0.8756476683937824, "acc_norm_stderr": 0.023814477086593556 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.7025641025641025, "acc_stderr": 0.02317740813146594, "acc_norm": 0.7025641025641025, "acc_norm_stderr": 0.02317740813146594 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.42592592592592593, "acc_stderr": 0.030149135601365947, "acc_norm": 0.42592592592592593, "acc_norm_stderr": 0.030149135601365947 }, "harness|hendrycksTest-high_school_microeconomics

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，对模型性能进行系统化、标准化的评测至关重要。该数据集是专为记录与追踪模型01-ai/Yi-1.5-6B在Open LLM Leaderboard评测框架下的表现而自动生成的。其构建过程基于一次完整的评估运行，自动将模型在63个不同评测任务上的详细结果进行结构化存储。每个任务对应一个独立的配置项，而每次运行的结果则作为该配置下的一个特定分割（split）被保存，分割以运行的时间戳命名，其中“train”分割始终指向最新一次的评测结果。此外，数据集还包含一个名为“results”的额外配置，用于聚合所有运行的综合指标，这些聚合数据正是排行榜上展示的最终度量标准。

使用方法

研究者可通过Hugging Face的datasets库便捷地访问该数据集。加载时需指定目标任务的配置名称，例如加载Winogrande任务的详细结果，可使用`load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-6B", "harness_winogrande_5", split="train")`。通过选择不同的split参数（如时间戳字符串或“train”），可以获取特定历史版本或最新的评测数据。若要查看所有任务的聚合性能，则可直接加载“results”配置。这种设计使得无论是进行单任务深度分析，还是进行全面的模型能力评估，研究者都能以简洁的代码实现高效的数据获取与利用。

背景与挑战

背景概述

随着大语言模型（LLM）技术的迅猛发展，如何公平、系统地评估模型性能成为学术界与工业界共同关注的核心议题。Open LLM Leaderboard 由 Hugging Face 团队于 2023 年发起，旨在通过标准化基准测试，为社区提供透明、可复现的模型评估平台。该数据集记录了 01-ai 团队于 2024 年 5 月发布的 Yi-1.5-6B 模型在 63 项任务上的详细评测结果，涵盖 ARC-Challenge、HellaSwag、MMLU、TruthfulQA 等经典基准，覆盖常识推理、数学、医学、法律等多领域知识。Yi-1.5-6B 作为 60 亿参数级别的模型，在多项任务上展现出与更大规模模型相媲美的性能，尤其在高中政治（87.56%）、市场营销（89.32%）等科目中表现突出，为中小规模模型的高效部署提供了有力佐证。该数据集不仅推动了模型评测的标准化进程，也促进了开源社区对模型能力的深入理解。

当前挑战

在模型评估领域，核心挑战在于构建全面且无偏的评测体系。一方面，现有基准如 MMLU 虽覆盖 57 个学科，但任务难度分布不均，部分科目（如高中物理、大学数学）准确率不足 45%，暴露出模型在复杂推理与专业领域知识上的短板；另一方面，评测过程依赖固定提示模板与少数样本（如 5-shot），可能无法充分反映模型在真实场景中的泛化能力。在数据构建层面，该数据集需整合来自不同评测框架（如 lm-evaluation-harness）的异构输出，处理 63 个任务配置的版本兼容性与结果一致性，同时确保每次运行的时间戳与数据分片准确关联。此外，评测结果中标准误差（如 MMLU 整体 acc_stderr 约 3.25%）的存在，提示单次评测可能受随机性影响，如何通过多次运行提升统计可靠性，仍是待解的难题。

常用场景

经典使用场景

在开放大语言模型评测领域，该数据集被广泛用于标准化评估模型在多种自然语言理解与推理任务上的表现。其经典使用场景包括对Yi-1.5-6B模型在ARC挑战集、HellaSwag常识推理、WinoGrande代词消歧、GSM8K数学推理以及涵盖57个学科的MMLU基准上进行细粒度性能剖析。研究者通过加载各任务配置下的详细评测结果，能够深入分析模型在不同难度与知识领域中的能力边界，从而为模型迭代提供量化依据。

解决学术问题

该数据集有效解决了大语言模型评测中结果碎片化与可复现性不足的学术难题。通过将Yi-1.5-6B模型在统一评测框架下的63个任务配置结果系统化归档，为社区提供了标准化、可追溯的对比基准。其核心意义在于消解了因评测环境差异导致的性能偏差，使得不同研究团队能够基于同一数据源进行公平的横向比较，进而推动了大语言模型能力评估体系的规范化发展。

实际应用

在实际应用中，该数据集为模型选型与部署决策提供了关键支撑。开发者可依据该数据集中的多维度评测结果，判断Yi-1.5-6B在特定下游任务（如教育领域的知识问答、医疗场景的专业推理）中的适用性。同时，数据集中的性能标准差等统计量帮助工程团队量化模型输出的稳定性，从而在风险敏感场景中做出更审慎的模型部署选择。

数据集最近研究

最新研究方向

当前，大语言模型的性能评估已成为人工智能领域的研究热点，尤其是在多任务泛化能力与知识推理深度方面。基于Open LLM Leaderboard框架，针对01-ai/Yi-1.5-6B模型的评估数据集系统性地覆盖了ARC挑战、HellaSwag常识推理、GSM8K数学问题求解以及涵盖57个学科的MMLU基准测试，全面揭示了该模型在科学、人文与逻辑推理等维度的表现。前沿研究方向聚焦于利用细粒度评估指标（如acc_norm与mc2）剖析模型在复杂语境下的鲁棒性与真实性，并与HuggingFace生态中涌现的排行榜竞争趋势相呼应。此类评估不仅为Yi系列模型的迭代优化提供了量化依据，更推动了开源社区对模型能力透明化、标准化衡量的共识，其影响深远，加速了从单一任务精度向综合智能素养评估的范式转变。