open-llm-leaderboard-old/details_NeuralNovel__Ignis-7B-DPO
收藏Hugging Face2024-02-29 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_NeuralNovel__Ignis-7B-DPO
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型NeuralNovel/Ignis-7B-DPO时自动创建的，用于在Open LLM Leaderboard上进行评估。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。
该数据集是在评估模型NeuralNovel/Ignis-7B-DPO时自动创建的，用于在Open LLM Leaderboard上进行评估。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。
原始信息汇总
数据集概述
数据集简介
该数据集是在评估模型NeuralNovel/Ignis-7B-DPO在Open LLM Leaderboard上的运行过程中自动创建的。
数据集组成
数据集包含63个配置，每个配置对应一个评估任务。数据集从1次运行中创建，每个运行可以在每个配置中作为一个特定的分割找到，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。
额外配置
一个额外的配置"results"存储了所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_NeuralNovel__Ignis-7B-DPO", "harness_winogrande_5", split="train")
最新结果
这些是最新结果的示例： python { "all": { "acc": 0.591254836807939, "acc_stderr": 0.0334070366622428, "acc_norm": 0.5955459854243185, "acc_norm_stderr": 0.03410660590947557, "mc1": 0.4785801713586291, "mc1_stderr": 0.01748743214471181, "mc2": 0.6545579637974486, "mc2_stderr": 0.01605098507055363 }, "harness|arc:challenge|25": { "acc": 0.6390784982935154, "acc_stderr": 0.014034761386175456, "acc_norm": 0.6629692832764505, "acc_norm_stderr": 0.013813476652902276 }, "harness|hellaswag|10": { "acc": 0.6716789484166501, "acc_stderr": 0.0046864258512532815, "acc_norm": 0.8485361481776539, "acc_norm_stderr": 0.0035776774950640805 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, # 其他任务的结果... }
配置详情
-
config_name: harness_arc_challenge_25
- 数据文件:
- 分割: 2024_02_29T12_08_32.687568
- 路径: **/details_harness|arc:challenge|25_2024-02-29T12-08-32.687568.parquet
- 分割: latest
- 路径: **/details_harness|arc:challenge|25_2024-02-29T12-08-32.687568.parquet
- 分割: 2024_02_29T12_08_32.687568
- 数据文件:
-
config_name: harness_gsm8k_5
- 数据文件:
- 分割: 2024_02_29T12_08_32.687568
- 路径: **/details_harness|gsm8k|5_2024-02-29T12-08-32.687568.parquet
- 分割: latest
- 路径: **/details_harness|gsm8k|5_2024-02-29T12-08-32.687568.parquet
- 分割: 2024_02_29T12_08_32.687568
- 数据文件:
-
config_name: harness_hellaswag_10
- 数据文件:
- 分割: 2024_02_29T12_08_32.687568
- 路径: **/details_harness|hellaswag|10_2024-02-29T12-08-32.687568.parquet
- 分割: latest
- 路径: **/details_harness|hellaswag|10_2024-02-29T12-08-32.687568.parquet
- 分割: 2024_02_29T12_08_32.687568
- 数据文件:
-
config_name: harness_hendrycksTest_5
- 数据文件:
- 分割: 2024_02_29T12_08_32.687568
- 路径:
- **/details_harness|hendrycksTest-abstract_algebra|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-anatomy|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-astronomy|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-business_ethics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-clinical_knowledge|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_biology|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_chemistry|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_computer_science|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_mathematics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_medicine|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-college_physics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-computer_security|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-conceptual_physics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-econometrics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-electrical_engineering|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-elementary_mathematics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-formal_logic|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-global_facts|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_biology|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_chemistry|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_computer_science|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_european_history|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_geography|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_government_and_politics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_macroeconomics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_mathematics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_microeconomics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_physics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_psychology|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_statistics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_us_history|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-high_school_world_history|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-human_aging|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-human_sexuality|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-international_law|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-jurisprudence|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-logical_fallacies|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-machine_learning|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-management|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-marketing|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-medical_genetics|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-miscellaneous|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-moral_disputes|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-moral_scenarios|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-nutrition|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-philosophy|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-prehistory|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-professional_accounting|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-professional_law|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-professional_medicine|5_2024-02-29T12-08-32.687568.parquet
- **/details_harness|hendrycksTest-professional_psychology|5_
- 路径:
- 分割: 2024_02_29T12_08_32.687568
- 数据文件:
搜集汇总
数据集介绍
构建方式
在大型语言模型评估领域，Open LLM Leaderboard 为模型性能的量化分析提供了标准化平台。该数据集是评估 NeuralNovel/Ignis-7B-DPO 模型过程中自动生成的产物，其构建依托于一次完整的评估运行。数据集包含 63 个配置，每个配置对应一个被评估的特定任务，如 ARC Challenge、HellaSwag、GSM8K 等。每次评估运行的结果以时间戳为标识，作为独立的分割（split）存储于各配置中，而名为 'train' 的分割则始终指向最新一次运行的结果。此外，一个名为 'results' 的独立配置汇集了所有任务的聚合指标，用于在排行榜上计算和展示综合性能。
使用方法
研究者可通过 Hugging Face Datasets 库便捷地加载该数据集，以深入分析模型在特定任务上的表现。例如，使用 `load_dataset("open-llm-leaderboard/details_NeuralNovel__Ignis-7B-DPO", "harness_winogrande_5", split="train")` 即可获取 Winogrande 任务的最新评估细节。数据集支持按配置和分割进行精确查询，用户可指定时间戳分割回溯历史结果，或使用 'train' 分割获取最新数据。这种灵活的数据访问方式，为模型性能的纵向对比与横向分析提供了坚实的数据基础。
背景与挑战
背景概述
随着大规模语言模型在自然语言处理领域的迅猛发展，如何系统、公正地评估这些模型的多维能力成为学术界与工业界共同关注的焦点。Open LLM Leaderboard作为由Hugging Face团队（主要联络人Clémentine Fourrier）于2023年发起的一项开源评测基准，旨在通过标准化流程对各类开源大模型进行横向对比。该数据集记录了NeuralNovel团队于2024年2月29日提交的Ignis-7B-DPO模型的完整评估结果，涵盖ARC挑战赛、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande及GSM8K等63项任务。这一评估体系不仅为研究者提供了模型在推理、常识、数学及知识掌握等维度的精确性能指标，更推动了开源大模型透明化竞争生态的建立，成为社区衡量模型进步的重要标尺。
当前挑战
该数据集所反映的核心挑战在于多维度能力评估的复杂性与指标解释的歧义性。首先，所解决的领域问题是如何在单一模型上同时衡量其常识推理（如HellaSwag准确率84.85%）、数学解题（GSM8K仅33.06%）、知识广度（MMLU各学科差异显著，如市场营销85.90% vs 大学数学35.00%）及事实一致性（TruthfulQA MC1仅47.86%）等异构能力，这要求评测任务设计需兼顾难度梯度与覆盖面。其次，构建过程中面临两大挑战：一是各任务的数据来源与格式高度异构（如ARC为选择题、GSM8K为数学文字题），需统一为可重复的评测管线；二是计算资源与随机性控制，单次运行结果（如Winogrande 79.95%）需通过多次实验取均值以降低方差，而该数据集仅记录单次运行结果，可能引入评估偏差。
常用场景
经典使用场景
在大型语言模型评估领域，Open LLM Leaderboard 的评测数据集已成为衡量模型综合能力的黄金标准。该数据集记录了 NeuralNovel/Ignis-7B-DPO 模型在 63 个不同任务配置下的详细表现，涵盖 ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande 和 GSM8K 等经典基准。研究者可通过加载特定任务的 Parquet 文件，深入分析模型在推理、常识理解、数学计算和知识问答等维度的细粒度性能，从而系统性地评估模型在不同难度层级和知识领域中的表现优劣。
解决学术问题
该数据集有效解决了大语言模型评估中普遍存在的可重复性危机和结果碎片化问题。通过标准化存储模型在统一评测框架下的完整运行结果，它使学术界能够精准对比不同模型在相同条件下的表现差异，避免了因评测环境不一致导致的结论偏差。数据集提供的细粒度统计指标（如准确率、标准差及归一化分数）为分析模型在特定任务上的鲁棒性和泛化能力提供了可靠依据，推动了模型性能评估从定性描述向定量分析的范式转变。
实际应用
在实际应用中，该数据集为模型选型和部署决策提供了关键参考依据。开发者可以基于 Ignis-7B-DPO 在 MMLU 各学科子集上的得分，判断其在教育辅导、医疗咨询或法律文书处理等垂直领域的适用性。例如，其在临床知识测试中 69% 的准确率提示了辅助医疗诊断的潜力，而数学推理任务的较低得分则明确了需要针对性优化的方向。这种多维度的能力画像使企业能够根据业务需求精准匹配模型能力，降低试错成本。
数据集最近研究
最新研究方向
当前，大语言模型（LLM）的评估基准研究正朝着多维度、细粒度的方向纵深发展，Open LLM Leaderboard作为业界广泛认可的评测平台，其数据集构建与动态更新机制成为推动该领域前进的关键力量。针对NeuralNovel/Ignis-7B-DPO模型，该数据集通过整合ARC挑战赛、HellaSwag、GSM8K及涵盖57个学科的MMLU等多样化任务，系统性地揭示了模型在常识推理、数学解题与专业知识掌握上的综合表现。前沿研究方向聚焦于如何利用此类结构化评测数据，精准定位模型在复杂推理与跨领域知识迁移中的短板，从而为DPO（直接偏好优化）等对齐技术的迭代提供实证依据。这一成果不仅加速了开源模型性能的透明化比较，更催化了社区对评估标准统一化与任务难度递增化的深入探讨，对推动负责任AI的发展具有里程碑式的意义。
以上内容由遇见数据集搜集并总结生成
