open-llm-leaderboard/details_huggingface__llama-7b
收藏Hugging Face2023-10-17 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_huggingface__llama-7b
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在Open LLM Leaderboard上对模型huggingface/llama-7b进行评估时自动生成的。它包含64个配置，每个配置对应一个被评估的任务。数据集由2次运行生成，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用Python中的datasets库加载该数据集。
This dataset was automatically generated during the evaluation of the huggingface/llama-7b model on the Open LLM Leaderboard. It consists of 64 configurations, each corresponding to an evaluated task. The dataset is created from two runs, where each run is represented as a dedicated split for every configuration, with the split name being the timestamp of the run. The "train" split always references the most up-to-date results. Furthermore, the configuration named "results" stores the aggregated results across all runs, which are utilized to compute and display the aggregate metrics on the Open LLM Leaderboard. This dataset can be loaded using the datasets library in Python.
提供机构：
open-llm-leaderboard原始信息汇总
数据集概述
数据集简介
该数据集是在对模型 huggingface/llama-7b 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。
数据集结构
- 数据集包含 64 个配置，每个配置对应一个评估任务。
- 数据集由 2 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- "train" 分割始终指向最新的结果。
- 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_huggingface__llama-7b", "harness_winogrande_5", split="train")
最新结果
以下是 2023-10-17T04:34:28.358522 运行 的最新结果： python { "all": { "em": 0.0010486577181208054, "em_stderr": 0.0003314581465219126, "f1": 0.056186031879194784, "f1_stderr": 0.0012858243614759428, "acc": 0.3749593848153363, "acc_stderr": 0.008901319861891403 }, "harness|drop|3": { "em": 0.0010486577181208054, "em_stderr": 0.0003314581465219126, "f1": 0.056186031879194784, "f1_stderr": 0.0012858243614759428 }, "harness|gsm8k|5": { "acc": 0.0356330553449583, "acc_stderr": 0.00510610785374419 }, "harness|winogrande|5": { "acc": 0.7142857142857143, "acc_stderr": 0.012696531870038616 } }
配置详情
-
harness_arc_challenge_25
- 分割：2023_07_19T11_42_45.726493
- 路径：
**/details_harness|arc:challenge|25_2023-07-19T11:42:45.726493.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|arc:challenge|25_2023-07-19T11:42:45.726493.parquet
- 路径：
- 分割：2023_07_19T11_42_45.726493
-
harness_drop_3
- 分割：2023_10_17T04_34_28.358522
- 路径：
**/details_harness|drop|3_2023-10-17T04-34-28.358522.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-10-17T04-34-28.358522.parquet
- 路径：
- 分割：2023_10_17T04_34_28.358522
-
harness_gsm8k_5
- 分割：2023_10_17T04_34_28.358522
- 路径：
**/details_harness|gsm8k|5_2023-10-17T04-34-28.358522.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-10-17T04-34-28.358522.parquet
- 路径：
- 分割：2023_10_17T04_34_28.358522
-
harness_hellaswag_10
- 分割：2023_07_19T11_42_45.726493
- 路径：
**/details_harness|hellaswag|10_2023-07-19T11:42:45.726493.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|hellaswag|10_2023-07-19T11:42:45.726493.parquet
- 路径：
- 分割：2023_07_19T11_42_45.726493
-
harness_hendrycksTest_5
- 分割：2023_07_19T11_42_45.726493
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-anatomy|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-astronomy|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-business_ethics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_biology|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_medicine|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-college_physics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-computer_security|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-econometrics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-formal_logic|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-global_facts|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-human_aging|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-international_law|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-machine_learning|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-management|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-marketing|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-nutrition|5_2023-07-19T11:42:45.726493.parquet - 路径：
**/details_harness|hendrycksTest-philosophy|5_2023-07-19T11:42:45.726493.parquet - 路径：`**/details_harness|hendrycksTest-prehistory|5_2023-07-19T11:42:45.72649
- 路径：
- 分割：2023_07_19T11_42_45.726493
搜集汇总
数据集介绍
构建方式
该数据集是在开放大语言模型排行榜（Open LLM Leaderboard）框架下，对huggingface/llama-7b模型进行自动化评估过程中生成的。数据集涵盖了64个评估任务配置，每个配置对应一个特定的评测任务。评估过程执行了两次运行，每次运行的结果被存储为独立的拆分，并以运行时间戳命名，而'train'拆分则始终指向最新一次评估的结果。此外，还包含一个名为'results'的配置，用于汇总并存储所有评估任务的聚合指标。
特点
数据集的结构设计精巧且层次分明，每个任务配置均包含独立的拆分，便于追溯不同时间点的模型表现。'results'配置作为聚合结果的枢纽，直接服务于排行榜上综合指标的展示与计算。数据以Parquet格式存储，保证了高效读取与处理。通过时间戳区分的运行记录，研究者能够清晰追踪模型性能的演变轨迹，为模型迭代与对比分析提供了坚实的基础。
使用方法
使用该数据集时，可通过HuggingFace的datasets库进行加载。例如，加载'harness_winogrande_5'任务配置的'train'拆分，只需调用load_dataset函数并指定数据集名称与配置名。此外，研究者可通过指定具体运行的时间戳拆分，访问历史评估结果，从而进行纵向比较。聚合结果则可通过加载'results'配置获取，便于快速掌握模型在各项任务上的整体表现。
背景与挑战
背景概述
随着大语言模型（LLM）的迅猛发展，如何系统性地评估其性能成为了学术界与工业界共同关注的焦点。在此背景下，Hugging Face团队于2023年发起了Open LLM Leaderboard项目，旨在为各类开源语言模型提供标准化、可复现的评测基准。该数据集即为对Meta发布的LLaMA-7B模型进行评测的产物，由Hugging Face研究团队（主要联系人为Clémentine Fourrier）创建，通过集成EleutherAI的LM Evaluation Harness工具，在涵盖常识推理（如Winogrande）、数学推理（如GSM8K）、阅读理解（如DROP）及多领域知识（如MMLU）等多项任务上进行了严格测试。该数据集不仅记录了模型在每项任务上的详细得分与统计误差，还通过时间戳分割保留了多次评测的历史轨迹，为后续研究者提供了宝贵的参考基线。其影响力体现在：它推动了LLM评测的透明化与社区协作，使得不同模型间的横向对比更加公平、便捷，成为衡量开源LLM能力的重要标尺。
当前挑战
该数据集所面临的挑战首先体现在领域问题的复杂性上：LLM的评测需要覆盖从基础常识到专业知识的广阔范畴，而不同任务对模型能力的要求差异巨大（例如Winogrande的代词消解与GSM8K的多步数学推理），单一模型难以在所有任务上取得均衡表现，这为构建全面、公正的评测体系带来了困难。其次，在数据集构建过程中，挑战同样显著：评测结果的自动生成依赖于LM Evaluation Harness工具，但不同任务配置（如few-shot样本数量、评估指标选择）的标准化与一致性需要精细维护；同时，由于模型迭代迅速，每次评测的运行环境、硬件条件及模型版本差异可能导致结果波动，如何确保跨时间、跨机构评测的可复现性是一个持续难题。此外，数据集的规模庞大（包含64个配置项和多个时间戳分割），其存储、索引与高效加载也对数据管理架构提出了较高要求。
常用场景
经典使用场景
在大型语言模型评估领域，open-llm-leaderboard/details_huggingface__llama-7b数据集作为Open LLM Leaderboard的评估结果存储库，其经典使用场景在于系统性地记录和复现LLaMA-7B模型在多项基准任务上的性能表现。研究者可通过该数据集获取模型在ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科的MMLU等任务上的细粒度评测分数，为模型能力的横向对比与纵向追踪提供了标准化数据基础。
实际应用
在实际应用中，该数据集为模型选型与部署决策提供了量化依据。开发团队可依据其在数学推理（GSM8K）、常识推理（Winogrande）等任务上的准确率，评估LLaMA-7B在智能客服、教育辅导、代码生成等场景中的适用性。同时，数据集中的错误分析记录有助于识别模型薄弱环节，指导针对性的微调或提示工程，从而提升产品级应用的鲁棒性与用户满意度。
衍生相关工作
该数据集衍生了一系列关于大模型评测与榜单分析的重要工作。例如，研究者基于其多轮评估结果分析了LLaMA系列模型的能力退化与涌现现象，探索了不同提示策略对评测分数的影响。此外，数据集的公开性催生了自动化评估工具链的改进，如将评测流程与Hugging Face生态深度集成，推动了社区标准化评测管道的建设。这些工作共同深化了人们对大语言模型能力边界与评测方法论的理解。
以上内容由遇见数据集搜集并总结生成
