open-llm-leaderboard/details_01-ai__Yi-1.5-34B-Chat

该数据集是在模型 01-ai/Yi-1.5-34B-Chat 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 63 个配置组成，每个配置对应一个被评估的任务。数据集是从 1 次运行中创建的，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。train 分割始终指向最新的结果。一个额外的配置 results 存储了运行的所有聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 Python 代码加载运行中的详细信息的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

数据集名称: Evaluation run of 01-ai/Yi-1.5-34B-Chat

数据集来源: 该数据集是在评估模型01-ai/Yi-1.5-34B-Chat的过程中自动创建的，评估平台为Open LLM Leaderboard。

数据集构成: 数据集由63个配置组成，每个配置对应一个评估任务。数据集基于1次运行创建，每次运行对应一个特定的分割，分割名称使用运行的时间戳命名。"train"分割始终指向最新结果。

额外配置: 存在一个名为"results"的额外配置，用于存储所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-34B-Chat", "harness_winogrande_5", split="train")

最新结果

最新结果来自2024-05-15T03:44:20.662749的运行，包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。具体任务包括但不限于：

• harness|arc:challenge|25
• harness|hellaswag|10
• harness|hendrycksTest-abstract_algebra|5 至 harness|hendrycksTest-world_religions|5
• harness|truthfulqa:mc|0
• harness|winogrande|5
• harness|gsm8k|5

每个任务的结果包括准确率及其标准误差等指标。

搜集汇总

数据集介绍

构建方式

在大规模语言模型评测领域，Open LLM Leaderboard 作为权威基准平台，为模型性能的横向比较提供了标准化框架。该数据集是在对 01-ai/Yi-1.5-34B-Chat 模型进行评测时自动生成的产物，由单次运行（2024-05-15T03:44:20.662749）所产生。数据集包含 63 个配置，每个配置对应一项被评测的任务，例如 ARC-Challenge、HellaSwag、GSM8K 以及涵盖 57 个学科的 MMLU 子任务等。每个配置中，运行的具体结果以时间戳命名的分割（split）形式存储，而“train”分割始终指向最新结果。此外，数据集还设有一个名为“results”的独立配置，用于汇聚所有任务的聚合指标，这些指标直接服务于 Leaderboard 上可视化展示的综合评分。

特点

该数据集具有鲜明的结构化与动态追踪特性。其核心优势在于将模型在 63 个不同难度与领域任务上的细粒度表现进行了系统化归档，既包含每项任务的原始准确率（acc）与标准化准确率（acc_norm），也提供标准误差（stderr）以表征统计可靠性。特别地，对于 TruthfulQA 等多选题任务，还额外记录了 mc1 与 mc2 等深层指标。通过“latest”分割与历史时间戳分割的并存设计，研究者能够追溯模型在历次评测中的性能演变，为模型迭代优化提供了可复现的对照基准。这种多维度、跨学科、可追溯的评测数据组织方式，使其成为分析大语言模型能力边界的宝贵资源。

使用方法

研究者可通过 HuggingFace Datasets 库便捷地加载该数据集。以获取 HellaSwag 任务的最新评测详情为例，只需执行 `load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-34B-Chat", "harness_hellaswag_10", split="train")` 即可。若要回溯历史运行结果，可将分割名称替换为对应的时间戳字符串（如 `2024_05_15T03_44_20.662749`）。对于希望复现 Leaderboard 综合排名的用户，可直接加载 `results` 配置，其中包含了所有任务聚合后的 JSON 格式指标。这种设计使得从单一任务分析到全局性能评估均能通过统一的编程接口实现，极大降低了使用门槛。

背景与挑战

背景概述

随着大语言模型技术的迅猛发展，如何系统性地评估模型在多样化任务上的综合能力成为学界与工业界共同关注的焦点。在此背景下，Hugging Face团队于2024年推出了Open LLM Leaderboard，旨在为开源大语言模型提供标准化、透明化的性能评测平台。该数据集记录了零一万物（01.AI）研发的Yi-1.5-34B-Chat模型在63项任务上的详细评估结果，涵盖ARC-challenge、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande及GSM8K等核心基准。创建者Clémentine Fourrier等人通过自动化流水线，于2024年5月15日完成本次评测运行，将每个任务的原始分数与统计误差完整归档。这一数据集不仅为研究者提供了模型能力的细粒度剖析，更推动了开源社区对模型可复现性评估的重视，成为衡量大语言模型推理、常识与数学能力的重要参考基准。

当前挑战

该数据集所解决的领域挑战在于：大语言模型在单一任务上的高表现往往无法反映其真实泛化能力，而跨任务、多学科的标准化评测体系长期缺失。通过集成ARC-challenge（科学推理）、HellaSwag（常识推理）、MMLU（学科知识）、TruthfulQA（真实性）、Winogrande（指代消解）及GSM8K（数学应用题）等任务，该数据集系统性地评估了模型在不同认知维度上的表现，弥补了传统单任务评测的片面性。在构建过程中，面临的主要挑战包括：确保63个评测配置的自动化运行与结果一致性，处理不同任务间评分标准（如acc、acc_norm、mc1、mc2）的兼容性问题，以及维护时间戳分片与最新结果（latest split）之间的动态同步机制，从而保障数据集的时效性与可追溯性。

常用场景

经典使用场景

在大型语言模型评估的学术领域中，Open LLM Leaderboard上的评估运行数据集为模型性能的量化分析提供了标准化平台。该数据集专为Yi-1.5-34B-Chat模型设计，涵盖63个任务配置，包括ARC-Challenge、HellaSwag、MMLU（涵盖57个学科）及GSM8K等经典基准。研究者可通过加载特定任务（如winogrande_5）的详细结果，深入分析模型在常识推理、数学求解及多学科知识掌握上的表现。这一数据集的核心价值在于其结构化存储了模型在多维度评估中的细粒度指标，使得横向对比不同模型的优劣成为可能，从而推动语言模型能力的系统化研究。

衍生相关工作

该数据集催生了多项富有影响力的学术工作。基于其提供的细粒度评估结果，研究者得以开展模型能力的深度剖析，例如分析Yi-1.5-34B-Chat在MMLU的57个学科中展现出的知识分布不均现象，进而提出针对性的数据增强或课程学习方法。数据集的结构化格式也激发了自动化评估工具的开发，如构建可视化仪表盘实时追踪模型在ARC与HellaSwag等基准上的演进趋势。此外，该数据集与Open LLM Leaderboard的紧密关联，使其成为社区驱动型模型排名与基准测试的重要数据源，推动了如多语言评估扩展、少样本学习能力分析等后续研究的兴起。

数据集最近研究

最新研究方向

在大型语言模型评估领域，Open LLM Leaderboard已成为衡量模型性能的权威基准平台。针对01-ai/Yi-1.5-34B-Chat这一先进对话模型，该数据集系统记录了其在63项任务上的精细化评估结果，涵盖ARC挑战赛、HellaSwag常识推理、GSM8K数学问题求解以及包含57个学科的MMLU综合测试等前沿研究方向。特别值得关注的是，该模型在高中政治与历史等人文社科领域展现出接近96%的准确率，同时在医学遗传学、天文学等专业学科也取得了80%以上的优异表现，这标志着开源中文大模型在跨领域知识理解上取得了突破性进展。该数据集的动态评估机制与标准化结果存档，为后续模型迭代提供了可复现的对比基线，对推动多模态大模型在垂直场景的落地应用具有重要的方法论意义。