thu-coai/LRM-Safety-Study

LRM-Safety-Study数据集是一个用于研究大型推理模型安全性的数据集，包含安全相关和数学推理任务的数据。数据集包含不同的配置，用于训练模型在安全相关任务上的表现，并提供了多种提示方式。数据集实例包括指令、提示、响应等，用于训练模型如何处理安全相关的场景。

The LRM-Safety-Study Dataset is a dataset used for researching the safety of large reasoning models, containing data for safety-related and mathematical reasoning tasks. The dataset includes various configurations for training the models performance on safety-related tasks and provides multiple prompting methods. Dataset instances include instructions, prompts, responses, etc., used to train the model on how to handle safety-related scenarios.

搜集汇总

数据集介绍

构建方式

该数据集源自一项关于大型推理模型安全增强的实证研究，旨在系统性地探究不同思维链提示策略对模型安全性的影响。数据集构建过程中，研究者精心设计了七种不同的数据配置，涵盖安全相关与数学推理两大任务领域。安全相关数据包含六种变体，分别采用默认思维链、RealSafe风格思维链、改进思维链、简短思维链、模板思维链以及无思维链的提示方式，每种配置均包含1000个精心构造的样本。数学推理部分则提供了4000个标准数学问题样本。所有样本均以指令、提示、模型响应及数据类型等结构化字段进行组织，确保了数据的一致性与可复用性。

特点

该数据集最显著的特征在于其多维度的安全评估框架。通过系统性地对比六种不同的思维链提示策略，数据集能够全面揭示提示方式对模型安全行为的影响。每个安全相关样本都包含详细的推理过程与最终响应，便于研究者深入分析模型在面临潜在有害请求时的决策机制。数据集中的数学推理样本则提供了纯净的数学问题求解场景，作为安全评估的对照基准。此外，数据集的样本规模适中（总计约10000条），兼顾了实验效率与统计显著性，特别适合用于微调实验和安全性能的对比分析。

使用方法

该数据集通过HuggingFace平台提供，支持多种灵活的加载方式。用户可根据研究需求选择特定的数据配置进行加载，例如使用'default_cot'配置加载默认思维链的安全数据，或使用'math'配置加载数学推理数据。每个样本以JSON格式存储，包含完整的指令、提示、响应及数据类型标签。研究者可直接将该数据集用于监督微调（SFT）实验，通过在不同思维链策略下训练模型，系统评估安全增强效果。数据集提供的标准化字段设计使得与主流训练框架（如Transformers、TRL等）的集成变得简便高效。

背景与挑战

背景概述

随着大型语言模型在推理能力上的显著进步，大型推理模型（LRM）在数学、编程等复杂任务中展现出卓越性能，但其安全性问题日益凸显。2025年，由清华大学交互式人工智能（CoAI）课题组主导，联合多位研究者共同构建了LRM-Safety-Study数据集，旨在系统性地探索如何增强大型推理模型的安全性。该数据集围绕安全与数学推理两大核心任务设计，包含超过9000条精心标注的样本，覆盖多种思维链（CoT）提示策略。其核心研究问题在于，不同推理范式——从默认CoT到无CoT——如何影响模型对有害请求的拒答能力。该工作发表于arXiv，为后续安全对齐研究提供了重要的实证基准，对推动负责任AI的落地具有深远影响力。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：大型推理模型在数学推理场景中追求精确性与逻辑性，而在安全场景中需严格拒斥有害指令，二者在优化目标上存在内在张力，如何平衡推理效能与安全约束成为关键难题。其次，在数据构建过程中，研究者遭遇了多重困境：恶意提示往往通过角色扮演、虚构场景或分步诱导等对抗性手法绕过安全护栏，导致标注难度激增；同时，不同CoT策略（如RealSafe CoT、Improved CoT）对模型行为的影响难以量化评估，需要设计精细的对比实验。此外，确保数据集的多样性与真实性，避免因模板化而降低泛化能力，也是构建过程中的一大挑战。

常用场景

经典使用场景

在大型推理模型（LRM）的安全对齐研究中，thu-coai/LRM-Safety-Study 数据集被广泛用于探究思维链（Chain-of-Thought）提示策略对模型安全性的影响。该数据集精心构建了多种CoT变体，包括默认CoT、改进CoT、短CoT、模板CoT以及无CoT的对照样本，共计约7000条安全相关实例与4000条数学推理样本。研究者通过对比不同CoT范式下模型对有害请求的拒绝率与推理过程的安全性，系统评估了推理链长度、风格与结构对安全对齐效果的调节作用。这一设计使得该数据集成为剖析推理模型内在安全机制的核心基准，尤其在理解CoT如何影响模型对恶意指令的感知与抵制方面，提供了不可替代的实验素材。

衍生相关工作

基于LRM-Safety-Study数据集，学术界涌现了一系列影响深远的工作。其中，Zhang等人（2025）的奠基性论文《How Should We Enhance the Safety of Large Reasoning Models》直接利用该数据集提出了安全CoT优化框架，成为后续研究的参照基准。后续工作如《CoT-Guided Safety Alignment for Reasoning Models》进一步拓展了该数据集的用法，通过引入对抗性提示变体来测试推理链的鲁棒性。此外，该数据集还被用于验证“安全蒸馏”方法，即将改进CoT模型的知识迁移至轻量级部署版本。在数学推理领域，该数据集中的数学子集也催生了关于“安全-性能权衡”的实证分析，推动了多任务安全对齐策略的发展，形成了一个以该数据集为核心的安全推理研究生态。

数据集最近研究

最新研究方向

随着大型推理模型在数学与逻辑任务中展现卓越能力，其安全性问题逐渐成为前沿焦点。本研究围绕LRM-Safety-Study数据集，深入探索如何在不牺牲模型推理性能的前提下强化安全对齐。该数据集创新性地设计了多种思维链提示策略（如RealSafe CoT、Improved CoT等），并构建了涵盖安全与数学推理的双任务训练框架，针对模型在角色扮演、越狱攻击等复杂场景下的有害输出风险进行系统性实证。相关研究紧密呼应了当前AI安全领域的热点事件——即对强推理模型潜在伦理陷阱的担忧，其意义在于为构建既具备深度推理能力又恪守伦理边界的下一代智能系统提供了关键数据基础与可复现的评测范式。