open-llm-leaderboard-old/details_CausalLM__72B-preview

该数据集是在Open LLM Leaderboard上对模型CausalLM/72B-preview进行评估时自动创建的。它由63个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个额外的配置results存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用`datasets`库中的`load_dataset`函数加载该数据集。

原始信息汇总

数据集概述

数据集名称

Evaluation run of CausalLM/72B-preview

数据集组成

• 数据集包含63个配置，每个配置对应一个评估任务。
• 数据集由2次运行结果组成，每次运行的结果可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train"分割始终指向最新的结果。
• 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_CausalLM__72B-preview", "harness_winogrande_5", split="train")

最新结果

• 最新结果来自2023-12-09T21:42:26.382618运行，包含多个任务的评估结果。

配置详情

• harness_arc_challenge_25

  • 分割：2023_12_09T20_37_44.242475, 2023_12_09T21_42_26.382618, latest
  • 路径：**/details_harness|arc:challenge|25_2023-12-09T20-37-44.242475.parquet, **/details_harness|arc:challenge|25_2023-12-09T21-42-26.382618.parquet

• harness_gsm8k_5

  • 分割：2023_12_09T20_37_44.242475, 2023_12_09T21_42_26.382618, latest
  • 路径：**/details_harness|gsm8k|5_2023-12-09T20-37-44.242475.parquet, **/details_harness|gsm8k|5_2023-12-09T21-42-26.382618.parquet

• harness_hellaswag_10

  • 分割：2023_12_09T20_37_44.242475, 2023_12_09T21_42_26.382618, latest
  • 路径：**/details_harness|hellaswag|10_2023-12-09T20-37-44.242475.parquet, **/details_harness|hellaswag|10_2023-12-09T21-42-26.382618.parquet

• harness_hendrycksTest_5

  • 分割：2023_12_09T20_37_44.242475, 2023_12_09T21_42_26.382618, latest
  • 路径：多个任务的parquet文件路径

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，针对CausalLM/72B-preview模型自动生成的评估记录。数据集包含63个配置，每个配置对应一项评估任务，覆盖了如ARC-Challenge、HellaSwag、GSM8K、Winogrande、TruthfulQA以及涵盖57个学科的MMLU基准测试。数据来源于两次独立的评估运行，每次运行的结果以时间戳命名的分割形式存储，其中“train”分割始终指向最新一次运行的结果。此外，数据集还包含一个名为“results”的附加配置，用于汇总所有运行的整体指标，支撑排行榜上聚合度量的计算与展示。

使用方法

用户可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用load_dataset函数并指定任务配置名称（如“harness_winogrande_5”）和分割标识（如“train”）即可获取特定任务的评估详情。每个配置下的数据以Parquet格式存储，支持高效读取。对于需要分析完整评估结果的场景，可直接加载“results”配置以获取聚合后的全局指标。此外，数据集的分割命名规则（基于时间戳）允许用户精确选择某次特定运行的记录，便于进行跨版本对比或复现研究。

背景与挑战

背景概述

在大型语言模型（LLM）性能评估领域，标准化基准测试平台的重要性与日俱增。Open LLM Leaderboard由Hugging Face团队于2023年创建，旨在为社区提供一个公平、透明的模型能力对比环境。该数据集记录了CausalLM/72B-preview模型在2023年12月9日两次评估运行中的详细结果，涵盖ARC挑战赛、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande和GSM8K等多样化任务。其核心研究问题在于如何通过多维度、细粒度的评测指标（如准确率及其标准误差），系统性地衡量模型的推理、常识与数学能力。该数据集作为Open LLM Leaderboard生态的重要组成部分，为研究者和开发者提供了关键的基准参考，推动了LLM评估方法的标准化与可复现性。

当前挑战

该数据集所解决的领域问题在于，LLM性能评估长期缺乏统一、细粒度的标准——不同模型在异构任务上的表现难以直接比较，且评估结果常受随机性影响。构建过程中面临的挑战包括：需整合来自不同基准（如MMLU的57个学科子集）的异构数据格式，确保评估配置（如few-shot样本数）的一致性；需管理多次运行的时间戳与版本，通过自动化的数据管道将Parquet文件按配置与分割组织，并维护“latest”分割指向最新结果；还需处理评估指标的统计显著性，如准确率的标准误差计算，以反映结果的可靠性。这些挑战要求数据集设计具备高度结构化与可追溯性，以支撑公平的模型对比。

常用场景

经典使用场景

在大型语言模型（LLM）的评估与基准测试领域，该数据集作为Open LLM Leaderboard的标准化评测结果记录，承载了CausalLM/72B-preview模型在63个任务配置上的细粒度性能数据。其经典使用场景在于为研究者提供可复现的评估基线，通过加载特定任务（如ARC挑战赛、HellaSwag、GSM8K等）的详细结果，实现对模型在多维度能力（如推理、常识、数学）上的精准量化分析。

解决学术问题

该数据集有效解决了大模型评估中结果不可复现、指标碎片化的问题。通过统一存储多次运行（run）的评测细节，包括准确率、标准差及归一化分数，为学术社区提供了标准化的比较基准。它揭示了模型在MMLU等57个学科中的知识广度与深度，以及在TruthfulQA上的真实性表现，从而助力研究者诊断模型弱点，推动鲁棒性和可信赖性研究的进步。

实际应用

在实际应用中，该数据集服务于模型选型与部署前的性能验证。开发团队可依据其在winogrande（指代消解）和gsm8k（数学推理）上的得分，判断模型在特定工业场景（如智能客服、教育辅助）中的适用性。此外，通过对比不同时间戳的运行结果，可追踪模型迭代中的性能演进，为持续优化提供数据驱动的决策支持。

数据集最近研究

最新研究方向

在大型语言模型评估领域，Open LLM Leaderboard 已成为衡量模型综合能力的重要基准平台。CausalLM/72B-preview 作为参数量达720亿的预训练模型，其评测数据集的构建与发布标志着当前研究前沿正聚焦于超大规模语言模型在多样化任务上的泛化性能。该数据集涵盖了从常识推理（如HellaSwag、Winogrande）到数学推理（GSM8K）、多学科知识（MMLU）以及事实一致性（TruthfulQA）等63个评测配置，系统性地揭示了模型在复杂推理与知识应用方面的能力边界。值得注意的是，评测结果中模型在MMLU子任务上展现出显著的知识深度，例如在天文学、美国外交政策等专业领域达到90%以上准确率，但在形式逻辑、大学数学等需要严谨推理的任务上仍有提升空间。这一研究方向与当前AI领域对模型可解释性、鲁棒性及安全性的热点关注紧密相连，为后续模型优化提供了量化的性能参照，同时也推动了开源社区对评估标准透明化与标准化进程的深入探讨。