open-llm-leaderboard-old/details_CultriX__MonaTrix-v4-7B-DPO

该数据集是在评估模型CultriX/MonaTrix-v4-7B-DPO时自动生成的，包含了63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定的分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型CultriX/MonaTrix-v4-7B-DPO在Open LLM Leaderboard上的运行过程中自动创建的。

数据集组成

• 数据集包含63个配置，每个配置对应一个评估任务。
• 数据集由1次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train"分割始终指向最新的结果。
• 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_CultriX__MonaTrix-v4-7B-DPO", "harness_winogrande_5", split="train")

最新结果

以下是2024-04-18T20:01:35.901312运行的最新结果： python { "all": { "acc": 0.6474083513393422, "acc_stderr": 0.03222227240976208, "acc_norm": 0.6467168780981731, "acc_norm_stderr": 0.03289740340162837, "mc1": 0.627906976744186, "mc1_stderr": 0.01692109011881403, "mc2": 0.7821613278665662, "mc2_stderr": 0.013679248945795038 }, "harness|arc:challenge|25": { "acc": 0.7081911262798635, "acc_stderr": 0.01328452529240351, "acc_norm": 0.734641638225256, "acc_norm_stderr": 0.01290255476231396 }, "harness|hellaswag|10": { "acc": 0.7152957578171679, "acc_stderr": 0.0045035118550500325, "acc_norm": 0.8900617406891057, "acc_norm_stderr": 0.0031217348395698565 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.35, "acc_stderr": 0.0479372485441102, "acc_norm": 0.35, "acc_norm_stderr": 0.0479372485441102 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6370370370370371, "acc_stderr": 0.04153948404742398, "acc_norm": 0.6370370370370371, "acc_norm_stderr": 0.04153948404742398 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6973684210526315, "acc_stderr": 0.03738520676119669, "acc_norm": 0.6973684210526315, "acc_norm_stderr": 0.03738520676119669 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.63, "acc_stderr": 0.048523658709391, "acc_norm": 0.63, "acc_norm_stderr": 0.048523658709391 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.690566037735849, "acc_stderr": 0.028450154794118637, "acc_norm": 0.690566037735849, "acc_norm_stderr": 0.028450154794118637 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7708333333333334, "acc_stderr": 0.03514697467862388, "acc_norm": 0.7708333333333334, "acc_norm_stderr": 0.03514697467862388 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.46, "acc_stderr": 0.05009082659620332, "acc_norm": 0.46, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.56, "acc_stderr": 0.049888765156985884, "acc_norm": 0.56, "acc_norm_stderr": 0.049888765156985884 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6473988439306358, "acc_stderr": 0.036430371689585475, "acc_norm": 0.6473988439306358, "acc_norm_stderr": 0.036430371689585475 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4019607843137255, "acc_stderr": 0.04878608714466996, "acc_norm": 0.4019607843137255, "acc_norm_stderr": 0.04878608714466996 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.73, "acc_stderr": 0.044619604333847394, "acc_norm": 0.73, "acc_norm_stderr": 0.044619604333847394 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5574468085106383, "acc_stderr": 0.03246956919789958, "acc_norm": 0.5574468085106383, "acc_norm_stderr": 0.03246956919789958 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4649122807017544, "acc_stderr": 0.046920083813689104, "acc_norm": 0.4649122807017544, "acc_norm_stderr": 0.046920083813689104 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5655172413793104, "acc_stderr": 0.04130740879555498, "acc_norm": 0.5655172413793104, "acc_norm_stderr": 0.04130740879555498 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.40476190476190477, "acc_stderr": 0.025279850397404904, "acc_norm": 0.40476190476190477, "acc_norm_stderr": 0.025279850397404904 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.46825396825396826, "acc_stderr": 0.04463112720677171, "acc_norm": 0.46825396825396826, "acc_norm_stderr": 0.04463112720677171 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7838709677419354, "acc_stderr": 0.02341529343356853, "acc_norm": 0.7838709677419354, "acc_norm_stderr": 0.02341529343356853 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.49261083743842365, "acc_stderr": 0.035176035403610084, "acc_norm": 0.49261083743842365, "acc_norm_stderr": 0.035176035403610084 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.67, "acc_stderr": 0.04725815626252607, "acc_norm": 0.67, "acc_norm_stderr": 0.04725815626252607 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7393939393939394, "acc_stderr": 0.034277431758165236, "acc_norm": 0.7393939393939394, "acc_norm_stderr": 0.034277431758165236 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.803030303030303, "acc_stderr": 0.028335609732463362, "acc_norm": 0.803030303030303, "acc_norm_stderr": 0.028335609732463362 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8963730569948186, "acc_stderr": 0.021995311963644237, "acc_norm": 0.8963730569948186, "acc_norm_stderr": 0.021995311963644237 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6615384615384615, "acc_stderr": 0.023991500500313036, "acc_norm": 0.6615384615384615, "acc_norm_stderr": 0.023991500500313036 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3333333333333333, "acc_stderr": 0.028742040903948485, "acc_norm": 0.3333333333333333, "acc

搜集汇总

数据集介绍

构建方式

该数据集源自Open LLM Leaderboard对CultriX/MonaTrix-v4-7B-DPO模型的一次自动化评估流程。构建过程中，系统针对模型在63个预设任务上的表现进行了系统性评测，每个任务对应一个独立的数据集配置。评估运行仅执行一次，其时间戳被用作每个配置内数据切分的唯一标识，而名为“train”的切分则始终指向最新一次的评估结果。此外，一个名为“results”的独立配置被专门用于汇总所有任务的聚合指标，为排行榜上的综合度量计算与展示提供支撑。

特点

数据集的核心特点在于其结构化的多任务评测框架，覆盖了从常识推理（如ARC、HellaSwag）到数学问题求解（GSM8K）、知识问答（MMLU涵盖57个学科）以及语言理解（WinoGrande、TruthfulQA）等广泛领域。每个任务的评估结果均以精度（acc）及其标准误（acc_stderr）等细粒度指标呈现，并辅以归一化精度（acc_norm）等衍生度量。这种分门别类、指标详尽的组织方式，使得研究者能够深入剖析模型在不同认知维度上的能力边界与潜在偏差。

使用方法

用户可通过Hugging Face的datasets库便捷地调用该数据集。加载时需指定目标任务的配置名称，例如使用“harness_winogrande_5”来获取WinoGrande任务的评估细节，并通过split参数选择“train”以获取最新结果，或选择具体的时间戳切分以回溯历史评估数据。对于需要整体概览的场景，可直接加载“results”配置，从而获取所有任务聚合后的综合性能指标，便于进行模型间的横向对比与分析。

背景与挑战

背景概述

随着大型语言模型（LLMs）在自然语言处理领域的飞速发展，如何公正、全面地评估其多维度能力成为研究焦点。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在构建一个开放、标准化的模型评估平台，以推动LLMs性能的透明化比较。该数据集源自对CultriX团队开发的MonaTrix-v4-7B-DPO模型的评估运行，记录于2024年4月18日。数据集包含63个任务配置，覆盖ARC挑战、HellaSwag、GSM8K及涵盖57个学科的MMLU基准测试，全面衡量模型在推理、常识、数学及专业知识等方面的表现。其核心研究问题在于通过细粒度评测揭示模型在多样化场景下的优劣势，为后续模型优化提供数据支撑。该数据集已成为LLM社区中模型性能对比的重要参考，促进了评估方法的标准化与可复现性。

当前挑战

该数据集所应对的领域挑战在于LLMs评估的全面性与公平性：传统单一基准难以捕捉模型在不同认知维度上的真实能力差异，而MonaTrix-v4-7B-DPO需在63项任务中展现均衡性能，这对模型的泛化能力提出极高要求。构建过程中，挑战集中于数据整合与标准化：从Hugging Face的lm-evaluation-harness工具中提取来自不同任务的评估结果，需确保各任务评分尺度一致，并处理因模型输出格式差异导致的解析错误。此外，时间戳管理要求区分多次运行的结果，最新分割需自动指向最新评估，这增加了数据版本控制的复杂性。同时，MMLU等专业任务的数据覆盖广泛，确保每个子任务样本的代表性和无偏性也是一大难题。

常用场景

经典使用场景

在大型语言模型（LLM）的迅猛演进中，对模型性能进行系统化、标准化评估已成为推动该领域发展的基石。open-llm-leaderboard-old/details_CultriX__MonaTrix-v4-7B-DPO 数据集正是为此而生，它完整记录了 MonaTrix-v4-7B-DPO 模型在 Open LLM Leaderboard 评测框架下的全部细节。该数据集最经典的使用场景在于复现与验证模型在 ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande 和 GSM8K 等六项涵盖推理、常识、知识、真实性与数学能力的基准测试中的表现，为研究者提供透明且可追溯的评估依据。

实际应用

在实际应用中，该数据集可作为模型选型与优化的重要参考工具。企业和研究机构可通过比对 MonaTrix-v4-7B-DPO 在数学推理（GSM8K 准确率 68.9%）、常识推理（HellaSwag 归一化准确率 89.0%）等指标上的表现，快速评估其在教育辅导、智能客服、内容生成等场景的适用性。同时，开发人员能够利用细粒度的评测结果，如 Winogrande 上 84.8% 的准确率，针对性调整模型在指代消解任务中的表现，从而加速从学术模型到工业级产品的落地进程。

衍生相关工作

该数据集衍生了多项具有深远影响的经典工作。基于其结构化的评测记录，研究人员得以开展模型性能的纵向追踪与横向对比分析，例如探索不同 DPO 训练超参数对模型对齐效果的影响。此外，数据集中丰富的 MMLU 学科细项结果为知识蒸馏与模型压缩研究提供了标尺，催生了针对特定领域（如医学、法律）的专项评估基准。该数据集还启发了自动化评测流水线的构建，推动社区形成了以标准化 Parquet 格式存储、以时间戳分片管理的开放评测规范，成为后续 LLM 评估基础设施的重要蓝本。