open-llm-leaderboard/details_Undi95__ReMM-v2-L2-13B

该数据集是在Open LLM Leaderboard上对模型Undi95/ReMM-v2-L2-13B进行评估时自动生成的。数据集包含64个配置，每个配置对应一个被评估的任务。数据集由2次运行的数据组成，每次运行在每个配置中表示为特定的分割，分割名称由运行的时间戳命名。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个Python代码片段来加载数据集详细信息，并列出了特定运行的最新结果。

This dataset was automatically generated when evaluating the model Undi95/ReMM-v2-L2-13B on the Open LLM Leaderboard. It comprises 64 configurations, each corresponding to one evaluated task. The dataset consists of data from two runs, where each run is represented as a dedicated split under each configuration, with the split name being the timestamp of the corresponding run. The train split always points to the latest results. Furthermore, a configuration named "results" stores the aggregated results across all runs, which are utilized to compute and display the aggregated metrics on the Open LLM Leaderboard. The README also includes a Python code snippet for loading detailed dataset information, and lists the most up-to-date results for specific runs.

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 Undi95/ReMM-v2-L2-13B 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：64个配置，每个配置对应一个评估任务。
• 数据来源：数据集由2次运行创建，每次运行的结果作为特定分片存储，分片名称使用运行的时间戳。
• 最新结果："train" 分片始终指向最新结果。
• 聚合结果：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Undi95__ReMM-v2-L2-13B", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-24T07:00:18.944945 运行 的最新结果： python { "all": { "em": 0.056312919463087245, "em_stderr": 0.0023607917437880183, "f1": 0.12075503355704631, "f1_stderr": 0.002645290783284543, "acc": 0.4452013645505283, "acc_stderr": 0.010675124517934693 }, "harness|drop|3": { "em": 0.056312919463087245, "em_stderr": 0.0023607917437880183, "f1": 0.12075503355704631, "f1_stderr": 0.002645290783284543 }, "harness|gsm8k|5": { "acc": 0.13191811978771797, "acc_stderr": 0.009321265253857515 }, "harness|winogrande|5": { "acc": 0.7584846093133386, "acc_stderr": 0.012028983782011872 } }

配置详情

以下是部分配置的详细信息：

• harness_arc_challenge_25

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|arc:challenge|25_2023-09-18T13-58-45.934639.parquet

• harness_drop_3

  • 分片：2023_10_24T07_00_18.944945, latest
  • 路径：**/details_harness|drop|3_2023-10-24T07-00-18.944945.parquet

• harness_gsm8k_5

  • 分片：2023_10_24T07_00_18.944945, latest
  • 路径：**/details_harness|gsm8k|5_2023-10-24T07-00-18.944945.parquet

• harness_hellaswag_10

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hellaswag|10_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_anatomy_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_astronomy_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_business_ethics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_biology_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_medicine_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_college_physics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_computer_security_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_econometrics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-09-18T13-58-45.934639.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分片：2023_09_18T13_58_45.934639, latest
  • 路径：**/details_harness|hendrycksTest-elementary_mathematics|5_2023-09-18T13-58-45.934639.parquet

以上是数据集的详细概述，包括数据集的简介、结构、加载示例、最新结果以及部分配置的详细信息。

搜集汇总

数据集介绍

构建方式

在大语言模型评测领域，精准的基准测试是衡量模型性能的基石。该数据集专为Open LLM Leaderboard上对Undi95/ReMM-v2-L2-13B模型的评估而自动生成。其构建过程基于两次独立的评估运行，每次运行的结果均以时间戳标记为独立的分割（split），存储于对应的配置（config）中。数据集共包含64个配置，每个配置对应一个具体的评测任务，如ARC挑战、DROP、GSM8K等。此外，还设有名为“results”的额外配置，用于汇总所有运行的整体指标，为排行榜的聚合计算提供数据支撑。数据以Parquet格式存储，确保了高效读写与兼容性。

特点

该数据集的核心特点在于其结构化与版本化设计。每个评测任务均独立配置，便于研究者按需加载特定任务的细节。通过时间戳分割，数据集清晰记录了不同评估轮次的历史结果，而“train”分割始终指向最新运行数据，实现了动态更新。这种设计不仅支持对模型性能的纵向追踪，还通过“results”配置提供了全局视角的聚合指标，如准确率（acc）和F1分数，并附有标准误差（stderr），增强了评估的统计严谨性。数据集的自动化生成流程确保了与Open LLM Leaderboard的无缝衔接，体现了高效、可复现的评测体系。

使用方法

在使用时，研究者可通过Hugging Face的datasets库便捷加载数据。例如，通过指定任务配置（如“harness_winogrande_5”）和分割名称（如“train”或时间戳），即可获取特定评估的详细结果。加载后的数据可直接用于分析模型在各任务上的表现，或与其他模型进行对比。对于需要全局评估的场合，可访问“results”配置以获取聚合指标。数据集的Parquet格式支持高效的列式操作，适用于大规模数据分析与可视化。这一设计使得无论是深入探究单任务细节，还是进行多模型横向比较，均能轻松实现。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的时代，如何系统性地评估其多维度能力成为学界与工业界的核心关切。Open LLM Leaderboard 由 Hugging Face 团队于2023年发起，旨在为社区提供一个标准化、透明化的模型性能竞技平台。该数据集源自对模型 Undi95/ReMM-v2-L2-13B 的评测运行，由 Clémentine Fourrier 等人主导维护，聚焦于衡量模型在常识推理、数学求解、阅读理解及专业知识等领域的综合表现。通过整合 ARC、HellaSwag、MMLU、GSM8K 等经典基准测试，该数据集不仅为模型开发者提供了横向对比的可靠依据，更推动了 LLM 评估范式的规范化，对后续模型优化与研究方向选择产生了深远影响。

当前挑战

该数据集所应对的领域挑战在于，LLM 能力评估长期面临任务单一、指标碎片化的困境，难以全面反映模型在真实场景中的泛化能力。构建过程中，主要挑战包括：其一，需从海量评测任务中筛选出覆盖推理、知识、数学等维度的代表性基准，确保评估体系的完备性；其二，不同任务的数据格式与评估指标（如准确率、F1值、精确匹配）差异显著，需设计统一的存储与聚合框架；其三，评测结果受模型版本、推理超参数及随机种子影响，需通过多次运行与时间戳分割来保证结果的可复现性与公平性，这对数据管道的稳定性提出了严苛要求。

常用场景

经典使用场景

在大型语言模型（LLM）的评估领域，Open LLM Leaderboard 上的评估运行数据集为模型性能的横向比较提供了标准化基准。该数据集记录了 Undi95/ReMM-v2-L2-13B 模型在多项经典任务上的详细表现，涵盖常识推理（如 HellaSwag）、数学推理（GSM8K）、阅读理解（DROP）以及知识问答（ARC-Challenge、MMLU）等。研究者可通过加载特定配置（如 harness_winogrande_5）获取模型在对应任务上的细粒度结果，从而深入分析模型在不同认知维度上的能力差异。这一使用方式使得该数据集成为复现评测、模型选型以及消融实验的核心工具，尤其适用于需要精确对比模型改进效果的场景。

解决学术问题

该数据集有效回应了当前大语言模型研究中长期存在的评测标准不统一与结果不可复现的困境。通过结构化存储每一次评估运行的完整日志与聚合指标，它为学术界提供了一套透明、可追溯的评估记录体系。具体而言，研究者可以借助该数据集解决以下关键问题：一是评估模型在零样本或少样本设置下的泛化能力，二是量化不同训练策略（如微调、合并）对模型性能的边际增益，三是识别模型在特定知识领域（如医学、法律）的薄弱环节。其意义在于推动了评测流程的规范化，使得模型间的比较不再依赖零散的、不可复现的基准结果，从而为后续的模型迭代提供了坚实的实证基础。

衍生相关工作

围绕该数据集衍生出的经典工作主要集中于模型评测方法论与基准体系的构建。其中，Open LLM Leaderboard 本身作为平台推动了多任务、多维度评测框架的普及，激发了诸如 EleutherAI 的 LM Evaluation Harness 等工具的发展，后者被广泛用于自动化评测流程。此外，基于该数据集的分析工作催生了一系列关于模型合并策略的研究，例如通过对比不同合并模型（如 ReMM-v2-L2-13B 与其他 Top 模型）在各项任务上的得分差异，研究者得以探索参数空间插值对模型能力的影响。这些工作进一步深化了人们对模型能力涌现与迁移机制的理解，并为后续的模型压缩、知识蒸馏等研究方向提供了可量化的评估基准。