open-llm-leaderboard-old/details_internlm__internlm-20b-chat

该数据集是在评估模型internlm/internlm-20b-chat时自动创建的，用于在Open LLM Leaderboard上展示模型的性能。数据集包含3个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果以时间戳命名的分割形式存储，且train分割始终指向最新结果。此外，还有一个results配置存储所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of internlm/internlm-20b-chat

数据集描述

数据集概述

该数据集是在模型 internlm/internlm-20b-chat 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由3个配置组成，每个配置对应一个评估任务。

数据集是从1次运行中创建的。每次运行可以在每个配置中作为一个特定的分割找到，分割名称使用运行的 timestamp。"train" 分割总是指向最新的结果。

一个额外的配置 "results" 存储了所有运行的聚合结果（用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

最新结果

以下是从运行 2023-11-08T17:10:14.815999 获得的最新结果：

python { "all": { "em": 0.016149328859060404, "em_stderr": 0.001290866955681033, "f1": 0.10652579697986504, "f1_stderr": 0.0024253657455140664, "acc": 0.4874752643801689, "acc_stderr": 0.011119649443380293 }, "harness|drop|3": { "em": 0.016149328859060404, "em_stderr": 0.001290866955681033, "f1": 0.10652579697986504, "f1_stderr": 0.0024253657455140664 }, "harness|gsm8k|5": { "acc": 0.18726307808946172, "acc_stderr": 0.01074591419951081 }, "harness|winogrande|5": { "acc": 0.7876874506708761, "acc_stderr": 0.011493384687249779 } }

数据集结构

配置

• harness_drop_3

  • 分割: 2023_11_08T17_10_14.815999
    • 路径: **/details_harness|drop|3_2023-11-08T17-10-14.815999.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-11-08T17-10-14.815999.parquet

• harness_gsm8k_5

  • 分割: 2023_11_08T17_10_14.815999
    • 路径: **/details_harness|gsm8k|5_2023-11-08T17-10-14.815999.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-11-08T17-10-14.815999.parquet

• harness_winogrande_5

  • 分割: 2023_11_08T17_10_14.815999
    • 路径: **/details_harness|winogrande|5_2023-11-08T17-10-14.815999.parquet
  • 分割: latest
    • 路径: **/details_harness|winogrande|5_2023-11-08T17-10-14.815999.parquet

• results

  • 分割: 2023_11_08T17_10_14.815999
    • 路径: results_2023-11-08T17-10-14.815999.parquet
  • 分割: latest
    • 路径: results_2023-11-08T17-10-14.815999.parquet

搜集汇总

数据集介绍

构建方式

在大语言模型评测领域，该数据集是专为评估internlm/internlm-20b-chat模型在Open LLM Leaderboard上的表现而自动生成的。其构建过程基于一次完整的评测运行，覆盖了三个核心任务配置，分别对应DROP、GSM8K和Winogrande基准测试。每个任务配置均包含一个以运行时间戳命名的数据分割，其中“train”分割始终指向最新的评测结果。此外，数据集还额外配置了一个名为“results”的配置，用于汇总并存储所有评测的聚合指标，这些指标直接服务于Leaderboard上综合分数的计算与展示。

特点

该数据集的结构设计兼具系统性与动态性。它通过三个独立的任务配置实现了对不同自然语言理解与推理维度的精细刻画，每个配置均以Parquet格式存储，确保了数据存取的高效性。数据集的核心亮点在于其时间戳分割机制，这使得研究者能够回溯特定时间点的评测细节，而“latest”分割则提供了持续更新的最新结果。聚合配置“results”整合了全部评测任务的指标，包括准确率、F1分数及其标准误差，为模型性能的横向对比提供了统一且量化的基准。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。具体而言，调用load_dataset函数并指定数据集标识符、任务配置名称（如“harness_winogrande_5”）以及所需分割（如“train”），即可获取对应任务的详细评测数据。若需访问特定运行的结果，可利用时间戳命名的分割进行精确检索。对于全局性能分析，加载“results”配置并选取“latest”分割，即可获取模型在所有任务上的聚合指标，从而支持全面的性能评估与对比研究。

背景与挑战

背景概述

在大规模语言模型飞速发展的时代，如何系统性地评估模型在多样化任务上的真实能力，已成为推动该领域前进的核心命题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为开源大语言模型提供统一、透明且可复现的评测基准。针对internlm/internlm-20b-chat这一拥有200亿参数的对话模型，该数据集记录了其在2023年11月8日完成的单次评测运行结果，涵盖DROP（离散推理）、GSM8K（数学推理）和Winogrande（指代消解）三项关键任务。这一数据集不仅为研究者提供了细粒度的模型性能指标（如精确匹配、F1分数和准确率），更通过标准化流程揭示了20B参数级别模型在复杂推理与常识理解上的表现边界，为后续模型优化与对比研究奠定了坚实的数据基础。

当前挑战

该数据集所反映的核心挑战首先在于领域问题层面：大语言模型在数学推理（GSM8K准确率仅18.7%）与离散推理任务（DROP的F1分数为10.7%）上仍存在显著短板，暴露出模型在符号操作与多步推理中的系统性局限。其次，在构建过程中，数据集面临评测标准化与可复现性的双重挑战——需确保每次运行结果独立存储为时间戳命名的分片，并维护“latest”分片始终指向最新结果，这对数据版本管理提出了严苛要求。此外，不同任务（如Winogrande的78.8%准确率与DROP的低分）间的性能悬殊，揭示了单一指标无法全面衡量模型能力，而评测任务的选择与结果聚合方式（如加权平均）本身也可能引入偏差，如何设计更具代表性的评测套件仍是亟待解决的难题。

常用场景

经典使用场景

在大型语言模型（LLM）的评估体系中，open-llm-leaderboard/details_internlm__internlm-20b-chat 数据集作为 Open LLM Leaderboard 的评测结果存储库，承载着对 internlm-20b-chat 模型在多项经典基准任务上的性能记录。其经典使用场景集中于复现与验证模型在 DROP（离散推理与阅读 comprehension）、GSM8K（数学应用题）以及 Winogrande（常识推理）等任务上的表现，通过加载配置为 harness_drop_3、harness_gsm8k_5 或 harness_winogrande_5 的分片，研究者可获取模型在各子任务中的详细预测结果与统计指标，从而进行横向对比或纵向追踪。

衍生相关工作

该数据集衍生了一系列重要的相关工作，尤其是在大模型评估方法论与基准测试标准化领域。基于该数据集的结构化评测结果，研究者开发了自动化评估流水线（如 EleutherAI 的 lm-evaluation-harness），并推动了 Open LLM Leaderboard 成为社区公认的模型排行榜。此外，该数据集启发了对评测指标鲁棒性的探讨，例如通过分析 acc_stderr 与 f1_stderr 等误差估计，衍生出关于小样本评估置信区间计算的研究，进一步提升了模型比较的统计严谨性。

数据集最近研究

最新研究方向

当前，大型语言模型（LLM）的评估基准已成为推动模型性能迭代与公平比较的核心驱动力。internlm-20b-chat作为一款拥有200亿参数的中文对话模型，在Open LLM Leaderboard上的评测数据揭示了前沿研究方向——如何通过多任务标准化测试（如DROP推理、GSM8K数学问题及Winogrande常识推理）来量化模型在复杂语义理解与逻辑推断上的真实能力。该数据集聚焦于细粒度性能监控，其最新结果（2023年11月）显示，模型在Winogrande任务上准确率达78.77%，而在GSM8K数学推理任务中仅为18.73%，这一显著差异凸显了当前LLM在符号推理与常识对齐间的失衡挑战。结合行业热点，如2023年LLM竞赛中涌现的“能力边界”讨论，此类公开评测数据为研究者提供了透明化的性能参照，推动了从单一语言生成向多维度认知评估的范式转变，对构建更稳健、可解释的对话系统具有里程碑意义。