AIML-TUDA/SLR-Bench-Portuguese

SLR-Bench-Portuguese是一个用于评估和训练大型语言模型（LLM）在逻辑推理方面的葡萄牙语数据集。它包括具有不同复杂性的任务，课程学习功能，以及自动任务生成功能。该数据集还提供了一个用于符号化、自动评估LLM输出的框架。

SLR-Bench-Portuguese is a dataset for evaluating and training large language models (LLMs) in logical reasoning using Portuguese language prompts. It includes tasks with varying complexity levels, curriculum learning capabilities, and automatic task generation features. The dataset also provides a framework for symbolic, automated evaluation of LLM outputs.

搜集汇总

数据集介绍

构建方式

SLR-Bench-Portuguese 是 Scalable Logical Reasoning Benchmark 的葡萄牙语版本，其设计理念源于对多语言环境下逻辑推理能力评估的迫切需求。该数据集通过自动化生成流程构建，基于符号逻辑系统，为每个任务实例创建包含自然语言提示、可执行验证程序及潜在真实规则的完整三元组。构建过程严格遵循20级课程体系，通过系统性地调整常量数量、谓词数目、问题规模及规则复杂度等参数，实现了对逻辑推理任务难度的精确控制。所有原始英语提示经专业翻译转化为地道的葡萄牙语表达，保留了逻辑结构的一致性。数据集的划分策略涵盖训练、验证与测试三个子集，其中 v1-All 配置包含超过 10,000 个样本，确保了评估统计的可靠性。

特点

该数据集最显著的特征在于其符号化、可程序化的自动评估机制，通过可执行逻辑程序对模型输出进行确定性验证，摒弃了传统多项选择或人工评分的模糊性。其课程式结构将任务划分为基础、简单、中等与困难四个层级，共计20个难度级别，为渐进式学习提供了丰富素材。每个任务实例均包含丰富的元数据，如规则复杂度、背景采样策略及词汇表谓词数量，支持细粒度的能力分析。数据集支持多种规则采样方法，包括均匀采样与大语言模型引导采样，能够生成符合特定难度要求的创新逻辑规则。此外，其可扩展性允许研究者自定义逻辑词汇、语法和任务参数，实现分布外任务创建。

使用方法

使用者可通过 HuggingFace Datasets 库便捷加载数据，例如使用 load_dataset("AIML-TUDA/SLR-Bench-Portuguese", "v1-All", split="test") 获取测试集。评估流程依赖于 evaluate 库及系统安装的 Prolog 解释器（如 SWI-Prolog），通过 VerifiableRewardsForScalableLogicalReasoning 评估模块完成。研究者需将模型预测的规则替换 ground-truth rule，并构建包含验证程序与评估配置的引用字典，随后调用 symbolic_judge.compute 函数计算准确率、部分得分及语法有效性等指标。该框架特别适用于课程学习场景，研究者可按层级逐步训练模型，监控其在各难度级别上的表现变化，从而系统性地提升语言模型的形式逻辑推理能力。

背景与挑战

背景概述

SLR-Bench-Portuguese 是由德国达姆施塔特工业大学 Lukas Helff 及团队于2025年创建的多语言逻辑推理基准数据集。作为原始 SLR-Bench 的葡萄牙语版本，它将所有自然语言指令提示翻译为葡萄牙语，旨在系统评估和训练大语言模型在葡萄牙语环境中的逻辑推理能力。该数据集通过20个难度等级、四个广泛层次的课程设计，包含超过19,000个任务，每个任务均由自然语言提示、可执行的验证程序及潜在规则组成，全自动生成，免去人工标注成本。其引入的符号化自动评估机制，规避了选择题或大模型评判器的局限，在跨语言泛化与多语言推理研究领域具有重要影响力。

当前挑战

该数据集的核心挑战在于解决大语言模型在逻辑归纳推理中的可扩展性与可验证性问题。现有推理数据集多依赖人工标注或选择题形式，难以覆盖复杂、分布外场景。SLR-Bench-Portuguese 通过可编程的任务生成框架，实现了规则复杂度、背景采样及词汇规模的系统控制，但也面临生成过程中逻辑规则分布平衡、语言翻译保真度及跨语言知识迁移的一致性挑战。构建过程中需确保葡萄牙语提示的语义精确对应，同时维持验证程序的符号一致性，避免因语言转换引入模糊性。此外，课程设计需在逐步提升逻辑难度的同时，保持任务组合空间的多样性，这对自动化合成算法的鲁棒性提出极高要求。

常用场景

经典使用场景

在人工智能与自然语言处理的交叉领域中，逻辑推理能力被视为衡量大语言模型（LLM）智能水平的核心指标。SLR-Bench-Portuguese为葡萄牙语场景下的归纳推理评估提供了结构化且可扩展的基准。该数据集包含超过19,000个任务，覆盖从基础到困难四个层级共20个难度等级，每个任务由自然语言提示、可执行验证程序及潜在的真实规则组成。研究者常利用此数据集对模型进行系统性的推理能力评测，通过符号化验证程序自动判定模型输出的正确性，从而实现对LLM逻辑推理准确率与稳健性的精确量化。

解决学术问题

该数据集精准回应了多语言环境下逻辑推理能力评估的匮乏问题，尤其是葡萄牙语区域相关模型的推理性能尚缺乏系统性的标准化度量。它解决了传统评估中依赖多选题或人工判断所带来的主观性与不可复现性，通过符号化自动验证机制实现了对模型推导过程的客观检验。此外，其课程式难度递进设计使得研究者能够深入探索模型在不同复杂度下推理能力的演化规律，为理解LLM在跨语言归纳推理中的弱点与边界提供了坚实的数据支撑与实验平台。

衍生相关工作

围绕SLR-Bench-Portuguese，学界已衍生出多项具有影响力的工作。其原始英文版本提出了一种可扩展的符号化推理任务自动合成框架，奠定了课程学习与推理能力评测的基础。葡萄牙语版本的发布则推动了多语言推理泛化研究，催生了诸如跨语言推理能力迁移分析、奖励模型在符号验证下的训练策略优化等方向。此外，该数据集所定义的20级课程体系被后续工作采纳作为难度控制的基准模板，进一步启发了针对不同语种和复杂度级别的逻辑推理数据集构建方法论，形成了多语言归纳推理评估的系列化生态系统。