open-llm-leaderboard-old/details_Weyaxi__SlimOpenOrca-Mistral-7B
收藏Hugging Face2023-10-24 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_Weyaxi__SlimOpenOrca-Mistral-7B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型Weyaxi/SlimOpenOrca-Mistral-7B运行期间自动创建的，用于Open LLM排行榜。数据集包含64个配置，每个配置对应一个评估任务。数据集包含来自2次运行的数据，每次运行作为一个特定分割，使用运行的时间戳命名。train分割始终指向最新结果。另外，results配置存储了运行的所有聚合结果，用于在排行榜上计算和显示聚合指标。数据集结构化，包含针对不同任务的各种配置，每个配置都有特定的数据文件和分割。
该数据集是在评估模型Weyaxi/SlimOpenOrca-Mistral-7B运行期间自动创建的，用于Open LLM排行榜。数据集包含64个配置，每个配置对应一个评估任务。数据集包含来自2次运行的数据，每次运行作为一个特定分割，使用运行的时间戳命名。train分割始终指向最新结果。另外，results配置存储了运行的所有聚合结果，用于在排行榜上计算和显示聚合指标。数据集结构化，包含针对不同任务的各种配置，每个配置都有特定的数据文件和分割。
原始信息汇总
数据集概述
数据集来源
该数据集是在评估模型 Weyaxi/SlimOpenOrca-Mistral-7B 在 Open LLM Leaderboard 上的运行过程中自动创建的。
数据集结构
- 配置数量：64个配置，每个配置对应一个评估任务。
- 运行次数：数据集由2次运行创建。每次运行在每个配置中作为一个特定的分片存在，分片名称使用运行的时间戳。
- 训练分片："train" 分片始终指向最新的结果。
- 结果配置：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Weyaxi__SlimOpenOrca-Mistral-7B", "harness_winogrande_5", split="train")
最新结果
以下是 2023-10-24T00:40:26.410334 运行的最新结果： python { "all": { "em": 0.004404362416107382, "em_stderr": 0.0006781451620479603, "f1": 0.0900964765100671, "f1_stderr": 0.001791740655538585, "acc": 0.494413205574767, "acc_stderr": 0.011528615182477716 }, "harness|drop|3": { "em": 0.004404362416107382, "em_stderr": 0.0006781451620479603, "f1": 0.0900964765100671, "f1_stderr": 0.001791740655538585 }, "harness|gsm8k|5": { "acc": 0.21455648218347234, "acc_stderr": 0.011307604104052887 }, "harness|winogrande|5": { "acc": 0.7742699289660616, "acc_stderr": 0.011749626260902547 } }
配置详情
以下是部分配置及其数据文件路径：
-
harness_arc_challenge_25
- 分片：2023_10_11T10_04_43.187576
- 路径：
**/details_harness|arc:challenge|25_2023-10-11T10-04-43.187576.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|arc:challenge|25_2023-10-11T10-04-43.187576.parquet
- 路径：
- 分片：2023_10_11T10_04_43.187576
-
harness_drop_3
- 分片：2023_10_24T00_40_26.410334
- 路径：
**/details_harness|drop|3_2023-10-24T00-40-26.410334.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|drop|3_2023-10-24T00-40-26.410334.parquet
- 路径：
- 分片：2023_10_24T00_40_26.410334
-
harness_gsm8k_5
- 分片：2023_10_24T00_40_26.410334
- 路径：
**/details_harness|gsm8k|5_2023-10-24T00-40-26.410334.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|gsm8k|5_2023-10-24T00-40-26.410334.parquet
- 路径：
- 分片：2023_10_24T00_40_26.410334
-
harness_hellaswag_10
- 分片：2023_10_11T10_04_43.187576
- 路径：
**/details_harness|hellaswag|10_2023-10-11T10-04-43.187576.parquet
- 路径：
- 分片：latest
- 路径：
**/details_harness|hellaswag|10_2023-10-11T10-04-43.187576.parquet
- 路径：
- 分片：2023_10_11T10_04_43.187576
-
harness_hendrycksTest_5
- 分片：2023_10_11T10_04_43.187576
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-anatomy|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-astronomy|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-business_ethics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_biology|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_chemistry|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_computer_science|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_mathematics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_medicine|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-college_physics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-computer_security|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-conceptual_physics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-econometrics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-electrical_engineering|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-formal_logic|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-global_facts|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_biology|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_european_history|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_geography|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_physics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_psychology|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_statistics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_us_history|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-high_school_world_history|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-human_aging|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-human_sexuality|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-international_law|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-jurisprudence|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-logical_fallacies|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-machine_learning|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-management|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-marketing|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-medical_genetics|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-miscellaneous|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-moral_disputes|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-moral_scenarios|5_2023-10-11T10-04-43.187576.parquet - 路径：
**/details_harness|hendrycksTest-nutrition|5_2023-10-11T10-04-43.187576.parquet - 路径：`**/details_harness|hendrycksTest-philosophy|5_2023-10-11T10-04-43.18757
- 路径：
- 分片：2023_10_11T10_04_43.187576
搜集汇总
数据集介绍
构建方式
在大型语言模型评估领域，该数据集源自对Weyaxi/SlimOpenOrca-Mistral-7B模型在Open LLM Leaderboard上的评估过程。其构建方式遵循自动化流水线，通过两轮运行生成，每轮运行的结果以时间戳命名作为独立的数据分割，而'train'分割则始终指向最新一轮的评估结果。数据集包含64个配置，每个配置对应一项评估任务，并额外设有'results'配置用于汇总所有运行的聚合指标，这些指标在排行榜上用于计算和展示模型的综合表现。
特点
该数据集的核心特征在于其结构化的多任务评估体系，覆盖了从常识推理（如HellaSwag、Winogrande）到数学推理（GSM8K）再到知识问答（DROP、MMLU）等多样化的能力维度。每个配置均以Parquet格式存储详细的评估记录，包括准确率、F1分数等细粒度指标及其标准误差，为模型性能的深度剖析提供了丰富素材。数据分割的版本化设计（时间戳标记）使得研究者能够追溯模型在不同时间点的表现变化，支持纵向比较分析。
使用方法
使用该数据集时，研究者可通过HuggingFace的datasets库便捷加载。例如，加载Winogrande任务的评估细节时，指定配置名称'harness_winogrande_5'并选择'split="train"'即可获取最新结果。对于需要访问历史评估数据的情况，可依据时间戳分割加载特定运行的结果。此外，通过'results'配置可一键获取所有任务的聚合指标，便于快速评估模型的整体水平。Parquet格式的高效存储特性也支持大规模数据的快速读取与分析。
背景与挑战
背景概述
在大规模语言模型迅猛发展的浪潮中，如何公正、透明地评估模型性能成为学界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年创建，旨在通过标准化评测流程为开源社区提供可复现的模型对比基准。该数据集记录了模型Weyaxi/SlimOpenOrca-Mistral-7B在多项任务上的详细评测结果，涵盖ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科的MMLU等广泛领域。其核心研究问题在于构建一套自动化、多维度、持续更新的评测体系，以衡量模型在推理、常识、数学及专业知识等方面的综合能力。这一数据集的出现，为研究者快速定位模型优劣、推动开源生态进化提供了关键支撑，深刻影响了后续模型迭代与社区协作的方向。
当前挑战
该数据集所应对的领域挑战源于语言模型评测的复杂性与多样性。传统单一指标难以全面刻画模型能力，而不同任务间存在的语义鸿沟与评分标准差异，使得跨任务对比极具难度。在构建过程中，数据集的挑战尤为突出：一方面，需整合来自多个异构评测框架（如harness）的输出格式，确保64个配置下的数据一致性与可追溯性；另一方面，评测结果随模型更新而动态变化，如何通过时间戳分片与自动汇总机制，在保证历史数据可查的同时，精准呈现最新性能，对存储与检索架构提出了严苛要求。此外，大规模多任务评测带来的计算资源消耗与结果统计误差的控制，亦是不可忽视的工程难题。
常用场景
经典使用场景
作为Open LLM Leaderboard评估框架的核心组成部分，该数据集专门用于记录和存储模型Weyaxi/SlimOpenOrca-Mistral-7B在多项基准任务上的详细评测结果。其经典使用场景在于为研究者提供细粒度的逐任务性能数据，涵盖ARC挑战、DROP阅读理解、GSM8K数学推理、HellaSwag常识推理以及涵盖57个学科的MMLU测试等。通过加载特定配置（如harness_winogrande_5），用户可以精准复现模型在某一任务上的表现，进而进行跨模型、跨时间点的性能对比分析，为语言模型的系统性评估提供了标准化、可追溯的数据基础。
衍生相关工作
该数据集衍生了一系列围绕大语言模型标准化评估的重要工作。基于其提供的结构化评测结果，研究者得以构建性能排行榜（如Open LLM Leaderboard），推动社区形成统一的模型比较基准。同时，该数据集的细粒度特性催生了针对特定任务（如MMLU子领域）的深度分析研究，例如探究模型在不同学科知识上的掌握程度。此外，其多运行批次的设计理念被后续的评估框架借鉴，促进了如lm-evaluation-harness等工具的发展，使得自动化、可复现的模型评测成为自然语言处理领域的标准实践。
数据集最近研究
最新研究方向
在大规模语言模型评测领域，SlimOpenOrca-Mistral-7B的评估数据为模型在复杂推理与常识理解任务上的表现提供了关键参考。该数据集聚焦于多维度基准测试，涵盖数学推理（GSM8K）、常识推理（Winogrande）及阅读理解（DROP）等前沿方向，反映了当前研究对模型泛化能力与鲁棒性的高度关注。通过Open LLM Leaderboard的标准化评估流程，研究者可系统性地追踪模型在学科知识（MMLU）与逻辑推理任务中的性能演变，这一机制不仅推动了轻量级模型（如7B参数级别）的性能优化，还为社区提供了可复现的对比基准，对促进开放、透明的大模型生态建设具有深远意义。
以上内容由遇见数据集搜集并总结生成
