open-llm-leaderboard-old/details_cognitivecomputations__dolphin-2.6-mistral-7b

该数据集是在评估模型cognitivecomputations/dolphin-2.6-mistral-7b时自动创建的，主要用于在Open LLM Leaderboard上展示评估结果。数据集包含63个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 cognitivecomputations/dolphin-2.6-mistral-7b 的过程中自动创建的，用于 Open LLM Leaderboard。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 2 次运行结果组成，每个运行结果作为一个特定的分片存储在每个配置中，分片名称使用运行的时间戳。"train" 分片始终指向最新的结果。

数据加载示例

以下是加载数据集的示例代码： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_cognitivecomputations__dolphin-2.6-mistral-7b", "harness_winogrande_5", split="train")

最新结果

以下是 2024-01-05T00:53:12.910957 运行的最新结果： python { "all": { "acc": 0.6311678740586428, "acc_stderr": 0.03235623922383324, "acc_norm": 0.6353556161940662, "acc_norm_stderr": 0.03299949537775763, "mc1": 0.37209302325581395, "mc1_stderr": 0.016921090118814035, "mc2": 0.55647761603073, "mc2_stderr": 0.015289986307918129 }, "harness|arc:challenge|25": { "acc": 0.6006825938566553, "acc_stderr": 0.014312094557946707, "acc_norm": 0.628839590443686, "acc_norm_stderr": 0.014117971901142822 }, "harness|hellaswag|10": { "acc": 0.6471818362875921, "acc_stderr": 0.004768701562988879, "acc_norm": 0.8405696076478789, "acc_norm_stderr": 0.003653288043555801 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6518518518518519, "acc_stderr": 0.041153246103369526, "acc_norm": 0.6518518518518519, "acc_norm_stderr": 0.041153246103369526 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.743421052631579, "acc_stderr": 0.0355418036802569, "acc_norm": 0.743421052631579, "acc_norm_stderr": 0.0355418036802569 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.55, "acc_stderr": 0.05, "acc_norm": 0.55, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6830188679245283, "acc_stderr": 0.0286372356398009, "acc_norm": 0.6830188679245283, "acc_norm_stderr": 0.0286372356398009 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7430555555555556, "acc_stderr": 0.03653946969442099, "acc_norm": 0.7430555555555556, "acc_norm_stderr": 0.03653946969442099 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.43, "acc_stderr": 0.049756985195624284, "acc_norm": 0.43, "acc_norm_stderr": 0.049756985195624284 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.54, "acc_stderr": 0.05009082659620332, "acc_norm": 0.54, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6011560693641619, "acc_stderr": 0.0373362665538351, "acc_norm": 0.6011560693641619, "acc_norm_stderr": 0.0373362665538351 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.39215686274509803, "acc_stderr": 0.04858083574266346, "acc_norm": 0.39215686274509803, "acc_norm_stderr": 0.04858083574266346 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.76, "acc_stderr": 0.042923469599092816, "acc_norm": 0.76, "acc_norm_stderr": 0.042923469599092816 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5276595744680851, "acc_stderr": 0.03263597118409769, "acc_norm": 0.5276595744680851, "acc_norm_stderr": 0.03263597118409769 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.43859649122807015, "acc_stderr": 0.04668000738510455, "acc_norm": 0.43859649122807015, "acc_norm_stderr": 0.04668000738510455 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5655172413793104, "acc_stderr": 0.04130740879555497, "acc_norm": 0.5655172413793104, "acc_norm_stderr": 0.04130740879555497 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.3835978835978836, "acc_stderr": 0.025043757318520196, "acc_norm": 0.3835978835978836, "acc_norm_stderr": 0.025043757318520196 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.3888888888888889, "acc_stderr": 0.0436031486007746, "acc_norm": 0.3888888888888889, "acc_norm_stderr": 0.0436031486007746 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.37, "acc_stderr": 0.04852365870939099, "acc_norm": 0.37, "acc_norm_stderr": 0.04852365870939099 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7612903225806451, "acc_stderr": 0.02425107126220884, "acc_norm": 0.7612903225806451, "acc_norm_stderr": 0.02425107126220884 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.4876847290640394, "acc_stderr": 0.035169204442208966, "acc_norm": 0.4876847290640394, "acc_norm_stderr": 0.035169204442208966 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.71, "acc_stderr": 0.045604802157206845, "acc_norm": 0.71, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7575757575757576, "acc_stderr": 0.03346409881055953, "acc_norm": 0.7575757575757576, "acc_norm_stderr": 0.03346409881055953 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7929292929292929, "acc_stderr": 0.02886977846026704, "acc_norm": 0.7929292929292929, "acc_norm_stderr": 0.02886977846026704 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8911917098445595, "acc_stderr": 0.022473253332768776, "acc_norm": 0.8911917098445595, "acc_norm_stderr": 0.022473253332768776 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6358974358974359, "acc_stderr": 0.024396672985094764, "acc_norm": 0.6358974358974359, "acc_norm_stderr": 0.024396672985094764 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3, "acc_stderr": 0.027940457136228405, "acc_norm": 0.3, "acc_norm_stderr": 0.027940457136228405 }, "harness|hendrycksTest-high_school_microeconomics|5": { "acc": 0.6764705882352942, "acc_stderr": 0.030388353551886793, "acc_norm": 0.6764705882352942, "acc

搜集汇总

数据集介绍

构建方式

该数据集是在对模型 cognitivecomputations/dolphin-2.6-mistral-7b 进行 Open LLM Leaderboard 评测时自动生成的。数据集由63个配置组成，每个配置对应一项评测任务，涵盖了从常识推理到专业学科知识的广泛领域。数据来源于两次独立的运行，每次运行的结果作为特定分割存储在对应配置中，分割以运行时间戳命名，而“train”分割始终指向最新的一次运行结果。此外，一个名为“results”的额外配置存储了所有运行的聚合结果，用于在 Open LLM Leaderboard 上计算和展示综合指标。

特点

数据集的核心特点在于其结构化的评测记录方式，能够清晰追踪模型在不同任务上的表现随时间的变化。每个配置下的分割以时间戳区分，便于研究者比较模型在多次评测中的性能差异。数据集涵盖了 ARC、HellaSwag、GSM8K、TruthfulQA、Winogrande 以及涵盖57个学科的 MMLU 等多样化任务，全面评估模型的推理、知识掌握和生成能力。最新运行结果（2024年1月5日）显示模型在各项任务上的准确率及标准误差，为模型优化提供了细粒度的参考。

使用方法

用户可通过 HuggingFace 的 datasets 库便捷加载数据。例如，使用 load_dataset 函数指定数据集名称和配置名称（如“harness_winogrande_5”），并设置 split 参数为“train”即可获取最新运行结果。如需分析特定历史运行，可将 split 参数设为对应的时间戳字符串。此外，通过加载“results”配置，用户可以获取所有任务的聚合指标，便于整体评估模型性能。数据以 parquet 格式存储，支持高效读取和处理。

背景与挑战

背景概述

随着大规模语言模型（LLMs）的蓬勃发展，如何系统性地评估其在不同自然语言理解与推理任务上的表现成为了研究焦点。Hugging Face社区推出的Open LLM Leaderboard正是为了应对这一需求而构建，该平台通过标准化基准测试对模型进行公平比较。本数据集创建于2023年12月至2024年1月间，由Hugging Face团队主导，旨在记录并公开模型cognitivecomputations/dolphin-2.6-mistral-7b在多种任务上的评估详情。该模型基于Mistral 7B架构，经由微调优化后参与评测，数据集涵盖了ARC挑战赛、HellaSwag、GSM8K、MMLU（涵盖从抽象代数到病毒学的57个子领域）以及TruthfulQA和Winogrande等测试，全面反映了模型在常识推理、数学问题求解、知识问答和语言理解等方面的能力。这一数据集的发布为研究者提供了透明的模型性能追踪机制，推动了LLM评估的规范化和可复现性。

当前挑战

该数据集所涉及的挑战体现在两个层面。在领域问题层面，其核心任务是解决如何全面、客观地衡量一个语言模型在多样化自然语言处理任务上的综合能力，这包括从简单的常识推理（如Winogrande）到复杂的数学推理（如GSM8K）以及多学科知识掌握（如MMLU），每个任务都对模型的泛化性、鲁棒性和知识深度提出了不同要求。在构建过程中，挑战在于如何设计并整合63个独立的配置项，以对应每一个评估任务，同时确保数据格式的标准化与版本控制的可追溯性。此外，需要处理多次运行（run）产生的数据，将时间戳命名的不同分片（split）统一管理，并确保最新结果始终指向“train”分片，而聚合指标则存储于“results”配置中，这要求一套严谨的数据流水线来维持数据的一致性和更新逻辑的清晰性。

常用场景

经典使用场景

在大型语言模型飞速演进的浪潮中，对模型性能进行系统化、标准化的评估成为了该领域的基石性工作。此数据集专为记录和复现Open LLM Leaderboard上对cognitivecomputations/dolphin-2.6-mistral-7b模型的评测过程而设计，其经典使用场景在于为研究者提供一个细粒度的、可追溯的模型评估结果仓库。通过该数据集，用户能够精准获取模型在ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等涵盖常识推理、世界知识、数学计算与语言理解的多项基准测试中的逐项表现，从而深入剖析模型在各类认知任务上的能力边界与不足。

衍生相关工作

该数据集的诞生催生了一系列围绕大模型评估标准化与结果透明化的衍生工作。一方面，它作为Open LLM Leaderboard生态的关键组件，直接支撑了排行榜的实时更新与历史回溯功能，使得社区能够追踪不同模型在统一基准下的性能演变。另一方面，该数据集的结构与设计理念被后续众多模型评估项目所借鉴，例如研究者基于其细粒度结果数据，发展出了针对模型特定失败案例的鲁棒性分析、以及跨模型能力对比的元分析等方法，进一步深化了学术界对大型语言模型能力图谱的认知与构建。

数据集最近研究

最新研究方向

当前，大语言模型（LLM）的评估基准正从单一性能指标向多维度、细粒度能力剖析演进。dolphin-2.6-mistral-7b在Open LLM Leaderboard上的评测数据集，集中反映了这一前沿趋势：它通过涵盖ARC挑战、HellaSwag、GSM8K、Winogrande及MMLU（含57个学科）等63个配置任务，系统性地衡量模型在常识推理、数学解题、常识理解与多学科知识掌握上的综合表现。该数据集不仅追踪了2023年底至2024年初的多次运行记录，更以结构化方式存储了每次评估的详尽结果，为社区提供了可复现、可比较的标准化评估框架。这种精细化的评测体系，与HuggingFace推动的开放、透明模型竞技场紧密联动，正成为检验LLM真实能力、引导研究聚焦短板（如数学推理与逻辑悖论）的关键工具，对推动模型在复杂推理与知识泛化上的突破具有深远意义。