open-llm-leaderboard-old/details_TurkuNLP__gpt3-finnish-large

该数据集是在Open LLM Leaderboard上对TurkuNLP/gpt3-finnish-large模型进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。该数据集是在Open LLM Leaderboard上对TurkuNLP/gpt3-finnish-large模型进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 TurkuNLP/gpt3-finnish-large 时自动创建的，用于 Open LLM Leaderboard 的评估。

数据集结构

• 该数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TurkuNLP__gpt3-finnish-large", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-23T09:44:48.783250 运行 的最新结果： python { "all": { "em": 0.029886744966442953, "em_stderr": 0.0017437739254467684, "f1": 0.07029467281879197, "f1_stderr": 0.0020935165533943765, "acc": 0.25769534333070243, "acc_stderr": 0.007022913394891833 }, "harness|drop|3": { "em": 0.029886744966442953, "em_stderr": 0.0017437739254467684, "f1": 0.07029467281879197, "f1_stderr": 0.0020935165533943765 }, "harness|gsm8k|5": { "acc": 0.0, "acc_stderr": 0.0 }, "harness|winogrande|5": { "acc": 0.5153906866614049, "acc_stderr": 0.014045826789783666 } }

配置详情

以下是数据集的配置详情：

• config_name: harness_arc_challenge_25

  • split: 2023_10_04T06_41_08.773247
    • path: **/details_harness|arc:challenge|25_2023-10-04T06-41-08.773247.parquet
  • split: latest
    • path: **/details_harness|arc:challenge|25_2023-10-04T06-41-08.773247.parquet

• config_name: harness_drop_3

  • split: 2023_10_23T09_44_48.783250
    • path: **/details_harness|drop|3_2023-10-23T09-44-48.783250.parquet
  • split: latest
    • path: **/details_harness|drop|3_2023-10-23T09-44-48.783250.parquet

• config_name: harness_gsm8k_5

  • split: 2023_10_23T09_44_48.783250
    • path: **/details_harness|gsm8k|5_2023-10-23T09-44-48.783250.parquet
  • split: latest
    • path: **/details_harness|gsm8k|5_2023-10-23T09-44-48.783250.parquet

• config_name: harness_hellaswag_10

  • split: 2023_10_04T06_41_08.773247
    • path: **/details_harness|hellaswag|10_2023-10-04T06-41-08.773247.parquet
  • split: latest
    • path: **/details_harness|hellaswag|10_2023-10-04T06-41-08.773247.parquet

• config_name: harness_hendrycksTest_5

  • split: 2023_10_04T06_41_08.773247
    • path:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-management|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-professional_law|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendrycksTest-professional_medicine|5_2023-10-04T06-41-08.773247.parquet
      • **/details_harness|hendry

搜集汇总

数据集介绍

构建方式

在大型语言模型评估的蓬勃发展中，Open LLM Leaderboard 作为衡量模型性能的权威平台，为每一款参与评测的模型自动生成对应的细节数据集。本数据集正是针对 TurkuNLP/gpt3-finnish-large 模型在 Leaderboard 上的评估过程所构建。其构建方式具有高度的系统性与自动化特征：数据集由 64 个配置项构成，每一个配置项精确对应一个被评估的任务。评估过程历经两次独立的运行，每次运行的原始结果被分别存储为对应配置下的一个独立数据分片，分片名称直接采用该次运行的时间戳进行标识。为便于用户获取最新进展，系统设定 'train' 分片始终指向最近一次运行的结果。此外，一个名为 'results' 的额外配置被用于聚合所有运行的整体指标，这些聚合数据正是 Leaderboard 上展示综合评分的计算基础。数据以 Parquet 格式存储，确保了高效的数据读取与处理能力。

特点

该数据集的核心特点在于其结构化的粒度与清晰的版本追溯能力。它并非一个单一的评测结果快照，而是一个包含 64 个独立子任务详细结果的复合数据集，涵盖了从 ARC 挑战赛、DROP 阅读理解、GSM8K 数学推理到 Winogrande 常识推理等多样化的评测维度。每一个子任务的结果都通过时间戳分片保留了多次评估的历史记录，这为研究者追踪模型性能随版本或时间的变化轨迹提供了珍贵的原始素材。数据集中还包含了每个任务结果的统计误差（如 em_stderr, acc_stderr），彰显了其科学评估的严谨性。这种设计使得数据集不仅是模型排名的依据，更是一个可深入挖掘模型在不同能力维度上表现的微观数据库。

使用方法

研究人员可通过 Hugging Face 的 datasets 库便捷地访问该数据集。加载时需指定具体的数据集名称和对应的任务配置名称，例如使用 load_dataset('open-llm-leaderboard/details_TurkuNLP__gpt3-finnish-large', 'harness_winogrande_5', split='train') 即可获取 Winogrande 任务的最新评测细节。若需回溯历史版本，可将 split 参数替换为具体的运行时间戳，如 '2023_10_23T09_44_48.783250'。对于需要整体评估模型在所有任务上综合表现的场景，可直接加载 'results' 配置，该配置以 JSON 格式汇总了所有任务的聚合指标（如准确率、F1 分数等）及其标准误差。这种灵活的访问方式，使得无论是进行单一任务的深度分析，还是进行全面的模型能力评估，都变得简洁而高效。

背景与挑战

背景概述

在大型语言模型（LLM）评估领域，标准化基准测试的缺失曾长期制约着模型性能的横向比较与可信度验证。2023年，HuggingFace团队联合多位研究者发起了Open LLM Leaderboard项目，旨在构建一个公开、动态的模型评估平台，其中TurkuNLP/gpt3-finnish-large作为芬兰语大语言模型的代表，被纳入该评估体系。该数据集由HuggingFace的Clémentine Fourrier等人于2023年10月创建，核心研究问题聚焦于如何通过多任务、多轮次的自动化评测，系统性地揭示非英语LLM在推理、常识理解及数学问题求解等维度上的真实能力。其影响力在于：不仅为芬兰语NLP社区提供了首个公开可复现的评估基准，更推动了低资源语言模型评测范式的标准化进程。

当前挑战

该数据集所解决的领域问题在于：现有LLM评测多偏向英语，导致非英语模型（如芬兰语模型）缺乏公平、多维度的能力度量标准。具体挑战包括：1) 语言适配性难题——评测任务（如GSM8K数学推理、Winogrande指代消解）需在芬兰语环境下保持语义等价性，但现有数据集多为英语设计，直接翻译易引入文化偏差与逻辑歧义；2) 构建过程中的资源约束——芬兰语标注数据匮乏，需依赖自动翻译与少样本提示工程（如5-shot设置），这可能导致评测结果的噪声放大；3) 跨任务一致性挑战——不同任务（如HellaSwag常识推理与MMLU学科知识）的难度梯度与评估粒度差异显著，如何在同一框架下平衡各任务的权重与评分标准，成为确保leaderboard公信力的关键瓶颈。

常用场景

经典使用场景

在自然语言处理与大规模语言模型评估的交叉领域中，该数据集扮演着标准化评测基准的核心角色。其经典使用场景聚焦于对芬兰语大模型TurkuNLP/gpt3-finnish-large进行多维度的能力检验，涵盖常识推理（如Winogrande）、数学推理（如GSM8K）、阅读理解（如DROP）以及涵盖57个学科的通识知识测试（如MMLU）。研究者通过加载该数据集中的特定配置，能够精确复现模型在各项任务上的表现，从而进行横向对比与纵向追踪。这种结构化的评测体系为芬兰语乃至低资源语言的模型发展提供了可量化的参照系，推动了多语言NLP评估范式的规范化进程。

解决学术问题

该数据集精准回应了非英语大语言模型评估中缺乏统一、透明、可复现基准的学术困境。在传统研究中，不同团队采用各异的数据集与指标，导致模型性能难以公允比较。此数据集通过整合Open LLM Leaderboard的标准化评估框架，将TurkuNLP/gpt3-finnish-large在多个权威任务上的细粒度结果（如准确率、F1分数及其标准误）系统化存档，解决了评估结果碎片化与不可追溯的问题。其意义在于为低资源语言模型研究树立了可参照的评估范式，使得学术社区能够基于同一把标尺衡量模型进步，从而加速芬兰语NLP领域的理论积累与技术创新。

衍生相关工作

该数据集作为Open LLM Leaderboard生态的有机组成部分，衍生了一系列推动模型评估科学化的经典工作。基于其结构化评测记录，研究者得以开展模型性能的纵向演变分析，例如探究不同训练阶段、不同超参数配置对芬兰语模型能力的影响。此外，该数据集的细粒度结果（如各学科MMLU子项得分）催生了针对特定能力维度的深入分析，如语言模型在医学、法律等专业领域知识上的掌握程度。这些衍工作不仅深化了对Finnish GPT-3模型能力的理解，更为构建面向多语言、多任务的通用评估框架提供了方法论启示，推动了NLP领域从“模型竞技”向“能力诊断”的范式转变。