open-llm-leaderboard-old/details_rinna__youri-7b

数据集 Evaluation run of rinna/youri-7b 是在模型 rinna/youri-7b 在 Open LLM Leaderboard 上的评估运行中自动生成的。数据集包含一个配置，每个配置对应一个评估任务。数据集由一个运行生成，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个名为 results 的配置，存储了所有运行的聚合结果，并用于计算和显示 Open LLM Leaderboard 上的聚合指标。数据集 Evaluation run of rinna/youri-7b 是在模型 rinna/youri-7b 在 Open LLM Leaderboard 上的评估运行中自动生成的。数据集包含一个配置，每个配置对应一个评估任务。数据集由一个运行生成，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train 分割始终指向最新的结果。此外，还有一个名为 results 的配置，存储了所有运行的聚合结果，并用于计算和显示 Open LLM Leaderboard 上的聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of rinna/youri-7b

数据集描述

数据集概述

数据集是在模型 rinna/youri-7b 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由 1 个配置组成，每个配置对应一个评估任务。

数据集是从 1 次运行中创建的。每次运行都可以在每个配置中作为一个特定的拆分找到，拆分名称使用运行的时间戳。"train" 拆分始终指向最新的结果。

一个额外的配置 "results" 存储了所有运行的聚合结果（并用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

要加载某个运行的详细信息，可以执行以下操作： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_rinna__youri-7b", "harness_gsm8k_5", split="train")

最新结果

以下是 2023-12-02T15:23:30.420258 运行的最新结果（注意，如果连续评估没有覆盖相同的任务，仓库中可能会有其他任务的结果。您可以在 "results" 和每个评估的 "latest" 拆分中找到每个任务的结果）：

python { "all": { "acc": 0.08642911296436695, "acc_stderr": 0.007740044337103775 }, "harness|gsm8k|5": { "acc": 0.08642911296436695, "acc_stderr": 0.007740044337103775 } }

搜集汇总

数据集介绍

构建方式

在大型语言模型（LLM）性能评估的广阔领域中，Open LLM Leaderboard 扮演着基准测试的关键角色。该数据集专为评估 rinna/youri-7b 模型而自动生成，其构建方式依托于一次完整的评估运行。数据集仅包含一个配置，对应所评估的单一任务，同时增设了一个名为“results”的配置，用于存储该次运行的所有聚合指标。每个运行结果以时间戳命名，作为特定分割（split）嵌入各配置中，而“train”分割则始终指向最新一次运行的结果，从而确保数据结构的动态更新与可追溯性。

特点

该数据集的核心特质在于其高度自动化的生成机制与结构化的组织逻辑。它精准记录了 rinna/youri-7b 在数学推理任务（如 GSM8K）上的评估细节，包括准确率（acc）及其标准误差（acc_stderr）等关键指标。数据集以 Parquet 格式存储，兼顾了高效压缩与快速读取性能。此外，通过“latest”分割动态追踪最新结果，研究者能够便捷地获取模型性能的实时快照，从而支持对模型迭代效果的持续监控。

使用方法

研究者可通过 Hugging Face 的 datasets 库轻松加载该数据集，以深入分析模型评估的细粒度结果。例如，使用 `load_dataset("open-llm-leaderboard/details_rinna__youri-7b", "harness_gsm8k_5", split="train")` 即可获取最新运行的详细数据。数据加载后，可结合 Python 工具对准确率等指标进行统计分析，或与其他模型在相同任务上的表现进行横向对比。该数据集设计简洁，适用于快速验证模型在标准化基准上的能力，并为后续调优提供数据支撑。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的浪潮中，如何客观、高效地评估模型性能成为推动技术进步的关键环节。由HuggingFace社区主导的Open LLM Leaderboard项目应运而生，旨在为全球研究者提供一个标准化、透明化的模型评测平台。该数据集创建于2023年12月，由HuggingFace团队的核心成员Clémentine负责维护，专注于记录rinna/youri-7b模型在GSM8K数学推理任务上的评估细节。youri-7b作为rinna公司研发的日语能力突出的7B参数模型，其评测数据不仅反映了该模型在复杂数学推理场景中的表现，更为后续研究如何提升非英语语言模型的多维能力提供了宝贵的基准参考。该数据集通过结构化存储每次评估运行的原始结果与聚合指标，使得社区能够追溯模型在不同时间点的表现变化，极大促进了LLM评估领域的可重复性与开放性。

当前挑战

当前数据集面临的核心挑战集中于三个方面。首先，在领域问题层面，数学推理任务（如GSM8K）本身对模型的逻辑链构建与数值计算能力提出了极高要求，youri-7b仅8.64%的准确率揭示了现有模型在处理多步推理时普遍存在的脆弱性，如何设计更具鲁棒性的评估基准以捕捉模型推理缺陷成为关键难题。其次，在数据集构建过程中，自动化的评估管道虽然提升了效率，但单一运行结果可能受随机种子、温度参数等超参数影响而产生波动，缺乏多轮重复实验的稳定性验证。此外，数据集的存储结构仅保留最新结果与单一历史快照，未能系统记录每次评估的完整配置参数（如解码策略、采样方法），这限制了研究者对模型行为差异的深入归因分析。

常用场景

经典使用场景

该数据集专为评估rinna/youri-7b模型在Open LLM Leaderboard上的表现而构建，其核心应用场景聚焦于大语言模型在数学推理任务中的性能基准测试。具体而言，数据集以GSM8K（小学数学推理题集）为评测任务，通过标准化流程记录模型在5次采样下的准确率及其标准误差，为研究者提供可复现的细粒度评估结果。这种设计使得数据集成为横向对比不同模型推理能力的理想工具，尤其适用于检验7B参数量级模型在算术逻辑链条上的泛化能力。

实际应用

在实际应用中，该数据集可作为大语言模型迭代开发的质检工具，帮助工程师在部署前快速验证模型在数学推理场景下的真实水平。例如，教育科技公司可基于此类评测数据筛选出算术推理能力最优的基座模型，用于构建智能辅导系统中的解题模块。同时，数据集公开的评测日志与结果聚合方式，降低了第三方复现模型性能的门槛，使得学术界与工业界能够共享统一的评估语言，加速模型在数学辅助、自动化问答等垂直领域的落地。

衍生相关工作

该数据集作为Open LLM Leaderboard体系中的一环，衍生出多个具有影响力的研究方向。其一，它促进了跨模型推理能力的系统性对比研究，例如后续工作常引用此类评测数据来论证指令微调、思维链提示等技术对数学推理的提升效果。其二，数据集的结构化设计启发了多任务评测框架的构建，研究者借鉴其配置与分片机制开发出适应代码生成、常识推理等领域的标准化评估套件。此外，该数据集的公开性还催生了关于评测指标鲁棒性的探讨，包括采样次数对准确率置信区间的影响分析等实证研究。