open-llm-leaderboard/details_openchat__openchat_v3.2_super

Name: open-llm-leaderboard/details_openchat__openchat_v3.2_super
Creator: open-llm-leaderboard
Published: 2023-10-18 01:03:03
License: 暂无描述

Hugging Face2023-10-18 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/open-llm-leaderboard/details_openchat__openchat_v3.2_super

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集是在Open LLM Leaderboard上对模型openchat/openchat_v3.2_super进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定分割存储在配置中，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，"results"配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

This dataset was automatically created when evaluating the model openchat/openchat_v3.2_super on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. It is generated from two runs, with the results of each run stored as a specific split within its corresponding configuration, where the split name uses the timestamp of the run. The "train" split always points to the most recent results. Additionally, the "results" configuration stores the aggregated results across all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard.

提供机构：

open-llm-leaderboard

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 openchat/openchat_v3.2_super 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

数据集由64个配置组成，每个配置对应一个评估任务。数据集从2次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

结果配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

以下是加载特定运行详细信息的示例代码： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_openchat__openchat_v3.2_super", "harness_winogrande_5", split="train")

配置详情

以下是数据集的配置详情：

config_name: harness_arc_challenge_25
- split: 2023_09_05T08_28_49.460161
  - path: **/details_harness|arc:challenge|25_2023-09-05T08:28:49.460161.parquet
- split: latest
  - path: **/details_harness|arc:challenge|25_2023-09-05T08:28:49.460161.parquet
config_name: harness_drop_3
- split: 2023_10_18T01_02_51.015590
  - path: **/details_harness|drop|3_2023-10-18T01-02-51.015590.parquet
- split: latest
  - path: **/details_harness|drop|3_2023-10-18T01-02-51.015590.parquet
config_name: harness_gsm8k_5
- split: 2023_10_18T01_02_51.015590
  - path: **/details_harness|gsm8k|5_2023-10-18T01-02-51.015590.parquet
- split: latest
  - path: **/details_harness|gsm8k|5_2023-10-18T01-02-51.015590.parquet
config_name: harness_hellaswag_10
- split: 2023_09_05T08_28_49.460161
  - path: **/details_harness|hellaswag|10_2023-09-05T08:28:49.460161.parquet
- split: latest
  - path: **/details_harness|hellaswag|10_2023-09-05T08:28:49.460161.parquet
config_name: harness_hendrycksTest_5
- split: 2023_09_05T08_28_49.460161
  - path:
    - **/details_harness|hendrycksTest-abstract_algebra|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-anatomy|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-astronomy|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-business_ethics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-clinical_knowledge|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_biology|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_chemistry|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_computer_science|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_mathematics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_medicine|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-college_physics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-computer_security|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-conceptual_physics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-econometrics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-electrical_engineering|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-elementary_mathematics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-formal_logic|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-global_facts|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_biology|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_chemistry|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_computer_science|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_european_history|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_geography|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_mathematics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_physics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_psychology|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_statistics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_us_history|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-high_school_world_history|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-human_aging|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-human_sexuality|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-international_law|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-jurisprudence|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-logical_fallacies|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-machine_learning|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-management|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-marketing|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-medical_genetics|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-miscellaneous|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-moral_disputes|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-moral_scenarios|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-nutrition|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-philosophy|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-prehistory|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-professional_accounting|5_2023-09-05T08:28:49.460161.parquet
    - **/details_harness|hendrycksTest-professional_law|5_2023-09-05T08:28:49.

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Open LLM Leaderboard为模型性能的量化分析提供了标准化平台。该数据集专为记录openchat/openchat_v3.2_super模型的评估过程而构建，其构建方式基于自动化流水线：在Leaderboard对模型执行推理任务时，系统自动捕获并存储每个评估步骤的详细结果。数据集包含64个配置项，每个配置对应一个独立的评估任务，如ARC挑战、DROP、GSM8K等。每次评估运行生成一个以时间戳命名的数据分割，其中'train'分割始终指向最新运行的结果。此外，一个名为'results'的额外配置汇总了所有运行的聚合指标，用于计算和展示排行榜上的综合得分。

使用方法

使用该数据集时，研究者可通过Hugging Face的datasets库便捷加载。例如，通过load_dataset函数指定数据集名称和任务配置（如'harness_winogrande_5'），并选择'split'参数为'train'以获取最新评估细节。如需访问历史运行数据，可将分割名称替换为对应的时间戳字符串，如'2023_10_18T01_02_51.015590'，从而加载特定批次的评估结果。对于聚合分析，'results'配置提供了完整的指标字典，可直接用于模型性能的横向对比或复现排行榜上的评分。这种灵活的加载机制支持从细粒度任务细节到宏观性能统计的多层次探索。

背景与挑战

背景概述

在大规模语言模型（LLM）蓬勃发展的时代，如何系统、公正地评估模型的多维能力成为学界与工业界共同关注的核心议题。Open LLM Leaderboard应运而生，由Hugging Face团队于2023年创建，旨在为开源语言模型提供标准化、可复现的评测基准。该数据集专为评估OpenChat v3.2 Super模型而设计，由Hugging Face的Clémentine负责维护，记录了模型在ARC、HellaSwag、MMLU、GSM8K等64项任务上的详细表现。其核心研究问题在于：如何通过细粒度的分任务评测，揭示模型在推理、知识、数学等不同维度上的真实能力边界。该数据集不仅为OpenChat模型的迭代优化提供了关键参考，更推动了开源社区对LLM评测透明化与规范化的探索，成为后续模型性能对标的重要标杆。

当前挑战

该数据集面临的核心挑战首先在于评测任务的多样性与均衡性——需覆盖从常识推理（如HellaSwag）到专业领域知识（如MMLU的57个学科）的广泛范畴，确保评估结果能全面反映模型能力，而非偏向特定领域。其次，构建过程中需解决评测结果的可复现性问题，由于模型推理存在随机性，单次评估可能产生偏差，因此该数据集采用多次运行并聚合结果的方式，但如何设定合理的运行次数与统计方法仍存争议。此外，任务难度的层次化设计亦是一大挑战，例如GSM8K的数学推理任务需精确区分模型在简单与复杂问题上的表现差异，而DROP的阅读理解任务则对数值推理与语义理解提出更高要求。这些挑战共同指向一个核心目标：在保证评测效率的同时，提升数据集对模型真实能力的诊断精度。

常用场景

经典使用场景

在大型语言模型的评估与比较研究中，该数据集作为Open LLM Leaderboard的评估结果记录，被广泛用于对模型性能的标准化测评。它包含64个配置，对应ARC挑战、DROP、GSM8K、HellaSwag、MMLU及WinoGrande等经典基准任务，每个任务均提供详细的准确率、F1分数及标准误等指标。研究者可通过加载该数据集，快速复现模型在多项任务上的表现，从而进行横向对比与性能排序。

解决学术问题

该数据集解决了大语言模型性能评估中缺乏统一、可复现基准的核心问题。通过标准化记录模型在多个权威测试集上的得分，它使得不同模型间的比较更加公平透明。学术研究中，它帮助研究者识别模型在推理、常识理解、数学解题及知识问答等维度的优劣，推动了模型架构与训练方法的改进，例如揭示了OpenChat在WinoGrande任务上表现优异而在GSM8K上存在不足，从而指导了后续优化方向。

实际应用

在实际应用中，该数据集为模型选型提供了关键参考。企业和开发者可依据其记录的评测结果，筛选出在特定任务上表现卓越的模型，例如选择在DROP任务上F1分数较高的模型用于文档理解，或选择GSM8K准确率高的模型辅助数学教育。此外，该数据集的自动化创建机制也支持持续集成，使得模型开发团队能够定期评估迭代版本，确保部署模型的稳定性和竞争力。

数据集最近研究