遇见数据集

open-llm-leaderboard/details_TheTravellingEngineer__llama2-7b-chat-hf-v2

收藏
Hugging Face2023-10-15 更新2024-03-04 收录
官方服务:

资源简介:

该数据集是在Open LLM Leaderboard上对模型TheTravellingEngineer/llama2-7b-chat-hf-v2进行评估时自动创建的。数据集由64个配置组成,每个配置对应一个评估任务。数据集由2次运行创建,每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果,这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Python中的datasets库加载运行细节的示例。

This dataset was automatically created during the evaluation of the model TheTravellingEngineer/llama2-7b-chat-hf-v2 on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. It is built from two runs, with each run represented as a specific split for each configuration. The "train" split always points to the most recent results. An additional configuration named "results" stores the aggregated results across all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides examples of how to load run details using the datasets library in Python.

提供机构:
open-llm-leaderboard
原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 TheTravellingEngineer/llama2-7b-chat-hf-v2 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置,每个配置对应一个评估任务。

数据集结构

数据集由 2 次运行创建,每次运行可以在每个配置中找到特定的分割,分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储所有运行的聚合结果,用于计算和显示 Open LLM Leaderboard 上的聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TheTravellingEngineer__llama2-7b-chat-hf-v2", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-15T20:22:38.137564 运行的最新结果: python { "all": { "em": 0.0012583892617449664, "em_stderr": 0.00036305608931194434, "f1": 0.055925964765100665, "f1_stderr": 0.0013181664771628632, "acc": 0.4057988012013119, "acc_stderr": 0.00970458141675358 }, "harness|drop|3": { "em": 0.0012583892617449664, "em_stderr": 0.00036305608931194434, "f1": 0.055925964765100665, "f1_stderr": 0.0013181664771628632 }, "harness|gsm8k|5": { "acc": 0.0712661106899166, "acc_stderr": 0.007086462127954491 }, "harness|winogrande|5": { "acc": 0.7403314917127072, "acc_stderr": 0.012322700705552667 } }

配置详情

以下是数据集的配置详情:

  • config_name: harness_arc_challenge_25

    • split: 2023_08_16T13_42_39.642131
      • path: **/details_harness|arc:challenge|25_2023-08-16T13:42:39.642131.parquet
    • split: latest
      • path: **/details_harness|arc:challenge|25_2023-08-16T13:42:39.642131.parquet
  • config_name: harness_drop_3

    • split: 2023_10_15T20_22_38.137564
      • path: **/details_harness|drop|3_2023-10-15T20-22-38.137564.parquet
    • split: latest
      • path: **/details_harness|drop|3_2023-10-15T20-22-38.137564.parquet
  • config_name: harness_gsm8k_5

    • split: 2023_10_15T20_22_38.137564
      • path: **/details_harness|gsm8k|5_2023-10-15T20-22-38.137564.parquet
    • split: latest
      • path: **/details_harness|gsm8k|5_2023-10-15T20-22-38.137564.parquet
  • config_name: harness_hellaswag_10

    • split: 2023_08_16T13_42_39.642131
      • path: **/details_harness|hellaswag|10_2023-08-16T13:42:39.642131.parquet
    • split: latest
      • path: **/details_harness|hellaswag|10_2023-08-16T13:42:39.642131.parquet
  • config_name: harness_hendrycksTest_5

    • split: 2023_08_16T13_42_39.642131
      • path:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-business_ethics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_biology|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_chemistry|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_computer_science|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_mathematics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_medicine|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-college_physics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-computer_security|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-conceptual_physics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-econometrics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-electrical_engineering|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-formal_logic|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-global_facts|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_biology|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_european_history|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_geography|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_physics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_psychology|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_statistics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_us_history|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-high_school_world_history|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-human_aging|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-human_sexuality|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-international_law|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-jurisprudence|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-logical_fallacies|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-machine_learning|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-management|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-marketing|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-medical_genetics|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-miscellaneous|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-moral_disputes|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-moral_scenarios|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-nutrition|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-philosophy|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-prehistory|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-professional_accounting|5_2023-08-16T13:42:39.642131.parquet
        • **/details_harness|hendrycksTest-professional_law|5_2023-08-16
搜集汇总
数据集介绍
open-llm-leaderboard/details_TheTravellingEngineer__llama2-7b-chat-hf-v2 数据集图片
构建方式
在大型语言模型评估领域,Open LLM Leaderboard 作为权威基准平台,其评估过程产生的细粒度数据被系统化地收录于本数据集中。该数据集通过自动化流程构建,完整记录了模型 TheTravellingEngineer/llama2-7b-chat-hf-v2 在 Leaderboard 上的两次评估运行。数据集由 64 个配置组成,每个配置对应一项被评估的特定任务,如 arc_challenge、drop、gsm8k 等。每次运行的结果被存储为独立的 split,split 名称以时间戳命名,而 'train' split 则始终指向最新一次的评估结果。此外,一个名为 'results' 的独立配置汇集了所有运行的聚合指标,用于在 Leaderboard 上计算和展示综合性能。
特点
该数据集的核心特色在于其结构化的多维评估架构。它并非单一结果集合,而是通过 64 个任务配置实现了对模型能力的精细刻画,覆盖从常识推理 (winogrande) 到数学解题 (gsm8k) 再到学科知识 (hendrycksTest 系列) 的广泛维度。每个配置内按时间戳划分的 split 设计,使得研究者能够追踪模型在不同时间点的性能演变,而 'train' split 的指向机制则确保了最新结果的便捷获取。'results' 配置提供的聚合指标 (如准确率、F1 分数及其标准误) 为模型的整体表现提供了量化总结,兼具历史回溯性与实时更新性。
使用方法
研究人员可通过 Hugging Face 的 datasets 库便捷地加载该数据集。例如,使用 load_dataset 函数并指定配置名称 (如 'harness_winogrande_5') 及 split (如 'train') 即可获取特定任务的最新评估细节。若需访问历史运行数据,可选用对应时间戳的 split 名称。对于需要综合分析的场景,加载 'results' 配置可获取所有任务的聚合结果。数据以 Parquet 格式存储,支持高效的列式访问与筛选,适用于进行模型性能的横向对比、纵向追踪或元分析研究。
背景与挑战
背景概述
随着大语言模型(LLMs)的蓬勃发展,如何系统性地评估其多维度能力成为自然语言处理领域的核心议题。由Hugging Face团队于2023年创建的Open LLM Leaderboard,旨在为开源社区提供一个标准化、透明化的模型性能竞技平台。该数据集作为对TheTravellingEngineer/llama2-7b-chat-hf-v2模型的评估记录,涵盖了ARC、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多项基准测试,反映了模型在常识推理、数学计算、阅读理解及知识掌握等方面的表现。其影响力在于不仅推动了模型间的公平比较,还促进了开源大模型生态的良性竞争与迭代优化。
当前挑战
当前数据集面临的核心挑战在于评估体系的动态性与模型能力的快速演进之间的矛盾。一方面,现有基准如MMLU和GSM8K虽能衡量模型的知识广度与数学推理,但难以捕捉模型在复杂对话、多步推理及对抗性样本下的鲁棒性;另一方面,构建过程中需要处理不同任务间的评分标准差异、多次运行结果的一致性维护,以及海量评估数据的存储与版本管理。此外,如何避免数据泄露导致的评估偏差,并确保评测任务能够随模型能力增长而更新,仍是制约该领域发展的关键瓶颈。
常用场景
经典使用场景
在大规模语言模型评估领域,Open LLM Leaderboard上的评测数据集为该领域的模型性能比较提供了标准化基准。该数据集专为评估TheTravellingEngineer/llama2-7b-chat-hf-v2模型而构建,涵盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA等经典任务,通过统一的评测框架记录模型在常识推理、知识理解与数学求解等维度的表现。研究者可借助该数据集复现评测流程,或将其作为对照基线,深入分析模型在不同任务上的能力边界,从而推动语言模型在通用智能方向上的迭代优化。
解决学术问题
该数据集有效解决了大语言模型评测中结果不可复现与标准不统一的核心难题。通过记录每次运行的具体配置与详细结果,研究者可精确追溯模型在Winogrande、GSM8K等任务上的表现差异,从而系统性地探究训练数据、微调策略与推理能力之间的因果关联。其意义在于为学术社区提供了一个透明、可验证的评测框架,使得不同团队能够在同一尺度下公平比较模型优劣,加速了语言模型在推理、常识理解与数学问题求解等关键能力上的研究进展。
衍生相关工作
该数据集衍生了一系列关于语言模型评测方法论的重要工作。例如,基于其记录的多任务结果,研究者提出了更精细的能力评估框架,如区分模型在零样本与少样本场景下的表现差异。同时,该数据集也催生了针对模型鲁棒性与偏见检测的后续研究,通过对比不同运行时间戳下的结果,学者得以分析模型性能的稳定性与泛化边界。这些工作共同深化了学术界对语言模型内在机制的理解,并为构建更公正、全面的评测体系奠定了数据基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务