Sangeetha/Kaggle-LLM-Science-Exam

LLM Science Exam Kaggle Competition数据集是一个由大型语言模型生成的科学问题数据集。数据集包含问题文本、多个选项以及由生成模型定义的最正确答案。数据集的语言包括英语、德语、意大利语、西班牙语、法语、葡萄牙语、印度尼西亚语、波兰语、罗马尼亚语、索马里语、加泰罗尼亚语、丹麦语、斯瓦希里语、匈牙利语、挪威语、荷兰语、爱沙尼亚语、南非荷兰语、克罗地亚语、拉脱维亚语和斯洛文尼亚语。数据集的结构包括问题提示、选项和答案，训练集包含6684行数据。数据集的创建归功于竞赛组织者和参与者。

原始信息汇总

数据集概述

数据集描述

数据集总结

• 数据集链接：https://www.kaggle.com/competitions/kaggle-llm-science-exam/data

语言

• 支持的语言：英语（en）、德语（de）、他加禄语（tl）、意大利语（it）、西班牙语（es）、法语（fr）、葡萄牙语（pt）、印度尼西亚语（id）、波兰语（pl）、罗马尼亚语（ro）、索马里语（so）、加泰罗尼亚语（ca）、丹麦语（da）、斯瓦希里语（sw）、匈牙利语（hu）、挪威语（no）、荷兰语（nl）、爱沙尼亚语（et）、南非荷兰语（af）、克罗地亚语（hr）、拉脱维亚语（lv）、斯洛文尼亚语（sl）

数据集结构

数据字段

• 提示（prompt）：问题的文本
• 选项A（A）：如果此选项正确，则答案为A
• 选项B（B）：如果此选项正确，则答案为B
• 选项C（C）：如果此选项正确，则答案为C
• 选项D（D）：如果此选项正确，则答案为D
• 选项E（E）：如果此选项正确，则答案为E
• 答案（answer）：由生成的大型语言模型定义的最正确答案（A、B、C、D或E之一）

数据分割

• 训练集：6684行

数据集创建

• 数据集由竞赛组织者创建，用于回答由大型语言模型生成的高难度科学问题。
• 数据集生成依赖于具有1750亿参数的gpt3.5模型。

贡献者

• Kaggle - LLM Science Exam 贡献者

搜集汇总

数据集介绍

构建方式

该数据集源自Kaggle平台上举办的“LLM Science Exam”竞赛，旨在评估大型语言模型在科学知识领域的推理能力。构建过程中，竞赛组织者利用GPT-3.5（参数规模达1750亿）生成了一系列高难度的科学问题，每个问题附带五个选项（A至E），并由生成模型自身标注出最正确的答案。数据集共包含6684条训练样本，覆盖英语、德语、他加禄语、意大利语、西班牙语、法语、葡萄牙语、印尼语、波兰语、罗马尼亚语、索马里语、加泰罗尼亚语、丹麦语、斯瓦希里语、匈牙利语、挪威语、荷兰语、爱沙尼亚语、南非荷兰语、克罗地亚语、拉脱维亚语、斯洛文尼亚语等多种语言，体现了多语言与跨领域的知识挑战。

使用方法

数据集可直接用于微调或评估语言模型在科学问答任务上的表现。使用时，将提示文本与选项拼接作为输入，模型需从A到E中选择一个答案。训练集包含6684条样本，研究人员可将其划分为训练与验证子集，用于监督学习或对比不同模型的推理能力。由于答案由GPT-3.5标注，建议在使用时注意模型潜在的偏差，并结合其他科学问答基准进行交叉验证。该数据集亦适合作为多语言科学知识图谱构建或跨语言迁移学习的测试资源。

背景与挑战

背景概述

大规模语言模型（LLM）的迅猛发展催生了对其科学推理能力进行系统性评估的迫切需求。在此背景下，Kaggle社区于2023年发起了LLM科学考试竞赛，由Kaggle平台主导，联合多位自然语言处理与教育测评领域的研究者共同构建了Sangeetha/Kaggle-LLM-Science-Exam数据集。该数据集旨在检验LLM在跨学科科学问题上的理解与推理水平，涵盖物理、化学、生物学等多个领域，题目由GPT-3.5（参数量达1750亿）自动生成。作为首个大规模、多语言（涵盖21种语言）的LLM科学考试基准，该数据集为衡量模型在复杂科学知识问答中的表现提供了标准化测试平台，对推动语言模型在科学教育领域的应用与评估具有里程碑意义。

当前挑战

该数据集面临的核心挑战包括：其一，科学推理的深度与泛化问题——由于题目由LLM自动生成，模型可能依赖表面统计模式而非真正的科学理解来作答，导致评估结果偏离真实推理能力；其二，多语言一致性难题——数据集覆盖21种语言，但不同语言版本的科学表述可能存在语义偏差或翻译失真，影响跨语言测试的公平性；其三，答案标注的可靠性——正确答案由生成题目的同一LLM定义，可能引入循环论证或系统性偏见，缺乏独立专家验证；其四，数据集规模有限（仅6684条训练样本），难以覆盖科学知识的广度和复杂性，易导致模型过拟合或评估不充分。

常用场景

经典使用场景

该数据集源自Kaggle举办的LLM科学考试竞赛，专为评估和提升大语言模型在科学知识问答上的表现而设计。其经典使用场景聚焦于多选科学问题的推理与解答，涵盖物理、化学、生物等学科领域。研究者利用该数据集训练模型掌握复杂科学概念，并检验其在跨语言环境下的泛化能力——数据集中包含了英语、德语、意大利语等21种语言，为多语言科学理解研究提供了宝贵基准。通过6684条精心构造的问答样本，该数据集成为衡量LLM科学素养的标准化测试平台，推动模型从简单模式匹配向深层逻辑推理的进化。

解决学术问题

该数据集系统性地解决了大语言模型在科学领域存在的知识幻觉与推理薄弱问题。传统基准测试往往依赖人工标注，难以覆盖科学知识的深度与广度，而该数据集由GPT-3.5自动生成，保证了问题的高难度与多样性。它挑战模型在缺乏上下文提示时，仅凭内化知识辨别正确答案，从而揭示模型在因果推断、多步计算和概念关联上的短板。这一设计推动了学术界对LLM科学推理能力的量化评估，促使研究者开发更鲁棒的训练策略，如检索增强生成与结构化知识注入，显著提升了模型在科学考试中的表现。

实际应用

在实际应用中，该数据集为智能教育辅导系统的构建提供了关键支撑。基于此数据集训练的模型能够自动解析科学问题，为学生提供精准的答题解析与个性化学习建议，尤其在多语言场景下助力全球教育资源均等化。此外，它被用于开发科学文献自动问答工具，辅助研究人员快速检索实验方法或理论结论。在工业界，该数据集优化了智能客服在科技产品支持中的应答质量，确保对复杂科学查询的响应既准确又易懂，显著降低了人工干预成本。

数据集最近研究

最新研究方向

在大型语言模型（LLM）能力评估与科学知识推理的前沿探索中，Sangeetha/Kaggle-LLM-Science-Exam数据集正成为衡量LLM在复杂科学问答任务中表现的关键基准。该数据集由GPT-3.5（1750亿参数）生成，涵盖多语言科学问题，旨在模拟LLM自身对科学知识的理解与回答能力，这一独特设计推动了“模型自评估”与“生成式知识验证”的研究方向。当前热点聚焦于利用该数据集揭示LLM在跨语言科学推理中的一致性、准确性及潜在偏差，尤其是在多选项选择题中，模型如何权衡不同选项的合理性。这一研究不仅有助于理解LLM的知识边界，还为改进模型在科学教育、自动问答系统等领域的实际应用提供了重要参考，其影响延伸至AI对齐与可信赖性评估的深层讨论。