遇见数据集

open-llm-leaderboard/details_bofenghuang__vigogne-2-7b-instruct

收藏
Hugging Face2023-09-23 更新2024-03-04 收录
官方服务:

资源简介:

该数据集是在模型bofenghuang/vigogne-2-7b-instruct在Open LLM Leaderboard上的评估过程中自动生成的。数据集包含64个配置,每个配置对应一个评估任务。数据集由2次运行生成,每次运行在每个配置中表示为特定的分割,分割名称由运行的时间戳命名。train分割始终指向最新的结果。此外,名为results的配置存储了所有运行的聚合结果,用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

This dataset was automatically generated during the evaluation of the model bofenghuang/vigogne-2-7b-instruct on the Open LLM Leaderboard. It contains 64 configurations, each corresponding to an evaluation task. The dataset is generated from two runs, where each run is represented as a specific split under each configuration, with split names named after the timestamp of the corresponding run. The 'train' split always points to the most recent results. In addition, the configuration named 'results' stores the aggregated results from all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides examples of how to load the dataset using the Hugging Face Datasets library.

提供机构:
open-llm-leaderboard
原始信息汇总

数据集概述

该数据集是在评估模型 bofenghuang/vigogne-2-7b-instruct 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集组成

  • 数据集包含 64 个配置,每个配置对应一个评估任务。
  • 数据集从 2 次运行中创建。每个运行可以在每个配置中作为一个特定的分片找到,分片名称使用运行的时间戳。
  • "train" 分片始终指向最新的结果。
  • 一个额外的配置 "results" 存储所有运行的聚合结果,用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_bofenghuang__vigogne-2-7b-instruct", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果来自 run 2023-09-23T08:45:31.930950 的摘要:

python { "all": { "em": 0.2985528523489933, "em_stderr": 0.0046864904941642995, "f1": 0.3518403942953031, "f1_stderr": 0.004613402461586294, "acc": 0.39622289254314186, "acc_stderr": 0.008677803422491042 }, "harness|drop|3": { "em": 0.2985528523489933, "em_stderr": 0.0046864904941642995, "f1": 0.3518403942953031, "f1_stderr": 0.004613402461586294 }, "harness|gsm8k|5": { "acc": 0.03790750568612585, "acc_stderr": 0.005260333907798437 }, "harness|winogrande|5": { "acc": 0.7545382794001578, "acc_stderr": 0.012095272937183646 } }

配置详情

  • harness_arc_challenge_25

    • 分片: 2023_07_25T10_36_05.447803
    • 路径: **/details_harness|arc:challenge|25_2023-07-25T10:36:05.447803.parquet
    • 分片: latest
    • 路径: **/details_harness|arc:challenge|25_2023-07-25T10:36:05.447803.parquet
  • harness_drop_3

    • 分片: 2023_09_23T08_45_31.930950
    • 路径: **/details_harness|drop|3_2023-09-23T08-45-31.930950.parquet
    • 分片: latest
    • 路径: **/details_harness|drop|3_2023-09-23T08-45-31.930950.parquet
  • harness_gsm8k_5

    • 分片: 2023_09_23T08_45_31.930950
    • 路径: **/details_harness|gsm8k|5_2023-09-23T08-45-31.930950.parquet
    • 分片: latest
    • 路径: **/details_harness|gsm8k|5_2023-09-23T08-45-31.930950.parquet
  • harness_hellaswag_10

    • 分片: 2023_07_25T10_36_05.447803
    • 路径: **/details_harness|hellaswag|10_2023-07-25T10:36:05.447803.parquet
    • 分片: latest
    • 路径: **/details_harness|hellaswag|10_2023-07-25T10:36:05.447803.parquet
  • harness_hendrycksTest_5

    • 分片: 2023_07_25T10_36_05.447803
    • 路径:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-management|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-07-25T10:36:05.447803.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-25T10:36:05.447803.parquet
      • `**/details_harness|hendrycksTest-professional_law|5_2023-07-25T10:36:05.44
搜集汇总
数据集介绍
open-llm-leaderboard/details_bofenghuang__vigogne-2-7b-instruct 数据集图片
构建方式
该数据集是在Open LLM Leaderboard评估框架下,针对bofenghuang/vigogne-2-7b-instruct模型自动生成的评估记录。其构建逻辑围绕64个独立配置展开,每个配置对应一项具体的评估任务,涵盖ARC挑战、DROP、GSM8K、HellaSwag及HendrycksTest等多个基准测试。数据源自两次独立的评估运行,每次运行的结果以时间戳命名并作为独立的分片存储于对应配置中,其中“train”分片始终指向最新一次运行的输出。此外,还设有专门的“results”配置,用于聚合所有运行的指标结果,以支撑排行榜上综合性能的可视化呈现。
特点
该数据集的核心特征在于其结构化与版本化设计。64个配置任务覆盖了从常识推理、数学求解到多学科知识问答的广泛领域,为模型能力的多维度剖析提供了丰富素材。每个任务配置下按时间戳分片存储历史运行结果,既保留了评估过程的完整轨迹,又通过“latest”分片自动同步最新数据,实现了历史追溯与实时更新的平衡。“results”配置进一步将散落于各任务的指标汇总为统一视图,便于横向对比与整体性能研判。
使用方法
使用该数据集时,可通过Hugging Face的datasets库按需加载。用户需指定目标配置名称(如“harness_winogrande_5”)及分片标识(如“train”或具体时间戳),即可获取对应任务的详细评估结果。例如,调用load_dataset函数并传入配置与分片参数,即可加载指定运行的Parquet格式数据。对于需要分析多个任务或进行跨运行对比的场景,可遍历各配置并利用“results”配置获取聚合指标,从而高效支撑模型性能的深入评估与复现研究。
背景与挑战
背景概述
随着大语言模型在自然语言处理领域的迅猛发展,如何系统性地评估其多维度能力成为学界与工业界共同关注的焦点。在此背景下,Hugging Face团队于2023年发起了Open LLM Leaderboard项目,旨在为开源语言模型提供标准化、可复现的评测平台。该数据集作为Vigogne-2-7B-Instruct模型在Leaderboard上的评测记录,由Hugging Face研究团队(主要联系人Clémentine Fourrier)于2023年7月至9月间创建,核心研究问题在于通过涵盖常识推理、数学求解、阅读理解等多元任务的基准测试,揭示模型在零样本与少样本场景下的真实表现。该数据集不仅为Vigogne系列指令微调模型的性能提供了关键参考,更通过公开评测细节推动了开源社区对模型能力的透明化认知,成为衡量小型指令微调模型进步的重要标尺。
当前挑战
当前数据集面临的核心挑战包括三方面:其一,所解决的领域问题在于大语言模型能力评估的碎片化,不同研究采用各异基准导致比较困难,该数据集通过统一评测框架整合ARC、GSM8K、Winogrande等多样化任务,但模型在DROP(精确匹配仅29.9%)和GSM8K(准确率仅3.8%)等复杂推理任务上表现薄弱,揭示了现有模型在符号推理与数值计算方面的根本性局限。其二,构建过程中面临评测可复现性的挑战,数据集需严格记录每次运行的精确时间戳与配置参数(如25-shot、5-shot设置),并维护多版本分片以保证结果追溯,这在处理HendrycksTest等涵盖57个学科的大规模评测时尤为复杂。其三,随着新模型不断涌现,如何持续更新评测集并保持基准任务的时效性与难度平衡,避免测试集过拟合或知识泄露,成为长期维护的关键难题。
常用场景
经典使用场景
在大规模语言模型评估领域,Open LLM Leaderboard上的Vigogne-2-7B-Instruct评测数据集为研究者提供了一个标准化、多维度的性能度量平台。该数据集涵盖ARC-Challenge、HellaSwag、MMLU、GSM8K、DROP和WinoGrande等经典基准任务,能够全面评估模型在推理、常识理解、数学求解和文本理解等方面的能力。研究者可通过加载特定配置(如harness_winogrande_5)的Parquet文件,获取模型在每项任务上的详细表现,从而进行横向对比与纵向追踪。这种结构化的评测方式使得模型间的细微差异得以量化呈现,成为检验指令微调效果和模型鲁棒性的重要工具。
解决学术问题
该数据集有效解决了语言模型评测中标准不统一、结果难以复现的学术难题。通过整合多个权威基准任务并采用统一的评估框架,它消除了因评测环境差异导致的偏差,使不同研究团队的工作具有可比性。其核心价值在于揭示了Vigogne-2-7B-Instruct这类指令微调模型在常识推理(WinoGrande准确率75.45%)与数学推理(GSM8K准确率3.79%)之间的显著性能鸿沟,为学界指明了模型在符号计算与逻辑演绎方面的改进方向。这一发现推动了关于语言模型能力边界与训练策略优化的深入探讨。
衍生相关工作
基于该数据集,衍生出一系列关于语言模型评测方法论与性能优化的经典工作。研究者利用其多任务配置结构,深入分析了模型在不同领域知识上的迁移学习效应,并提出了针对性的数据增强策略。部分工作聚焦于评测结果的统计建模,通过分析运行间的方差来评估评测的可靠性。还有研究将其作为基准,开发了新的指令微调算法,旨在平衡模型在推理任务与数学任务上的表现。这些衍生工作共同推动了开放语言模型生态的标准化建设,使得Vigogne-2-7B-Instruct的评测数据成为连接模型开发与学术评价的重要桥梁。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务