SafetyALFRED

SafetyALFRED是由密歇根大学团队基于ALFRED基准扩展的多模态安全评估数据集，聚焦厨房场景下的六类现实危害（如设备误用、火灾隐患等）。该数据集包含1001条轨迹数据，通过AI2-THOR环境生成，整合了视觉帧序列、物体元数据及PDDL定义的安全修复动作。其创新性在于首次将静态危害识别与动态具身规划相结合，用于评估大语言模型在完成家务任务时识别和主动消除安全隐患的能力，填补了现有安全基准仅支持问答式评估的空白。SafetyALFRED is a multimodal safety evaluation dataset extended from the ALFRED benchmark by a research team at the University of Michigan. It focuses on six types of real-world hazards in kitchen scenarios, such as equipment misuse and fire hazards. This dataset comprises 1001 trajectory samples generated within the AI2-THOR simulation environment, integrating visual frame sequences, object metadata, and PDDL-defined safety remediation actions. Its core innovation is the first integration of static hazard identification and dynamic embodied planning, which is designed to evaluate the ability of Large Language Models (LLMs) to identify and proactively eliminate safety hazards while completing household tasks, filling the critical gap that existing safety benchmarks only support question-answering-based evaluations.

搜集汇总

数据集介绍

构建方式

在具身智能领域，评估多模态大语言模型在动态环境中的主动安全规划能力至关重要。SafetyALFRED数据集基于经典的具身指令跟随基准ALFRED构建，通过在AI2-THOR模拟厨房环境中精心引入六类现实安全风险来扩展原有框架。其构建过程首先对原始场景进行扰动，依据预定义的环境条件在特定位置插入安全隐患，例如将金属物体置于微波炉内或将水敏感物品放入水槽。随后，利用修改后的PDDL领域与问题定义，生成包含风险缓解步骤的真实轨迹，并通过渲染获取逐帧视觉数据与元数据，从而形成一套既包含任务执行又强调安全干预的标准化评估序列。

特点

该数据集的核心特点在于其双重评估框架，旨在揭示模型抽象安全知识与具体物理行为之间的对齐差距。它不仅提供了静态问答任务以检验风险识别能力，更创新地设计了具身规划任务，要求模型在完成家务目标的同时主动缓解即时危险。数据集涵盖的六类厨房安全隐患均源于真实事故统计，包括电器误用、火灾风险及财产损坏等，确保了评估的生态效度。此外，数据集支持纯视觉与元数据增强两种观察模式，能够有效分离感知瓶颈与推理缺陷，为深入分析模型的安全决策机制提供了多维视角。

使用方法

使用SafetyALFRED进行评估时，研究者通常遵循其定义的标准化流程。在问答任务中，模型作为安全评判员，基于给定的目标指令、行动历史及场景观察（图像或元数据），以开放式回答识别潜在风险。在具身任务中，模型则需扮演自主智能体，在相同的观察输入下生成逐步行动计划，且必须在推进主任务前优先执行风险缓解动作。评估指标包括风险识别准确率、缓解成功率及安全对齐率，这些量化结果共同揭示了模型从认知到行动的转化效能。数据集的开源特性允许社区在此基础上进一步开发更鲁棒的安全规划算法与评估范式。

背景与挑战

背景概述

SafetyALFRED数据集由密歇根大学和博伊西州立大学的研究团队于2026年提出，旨在评估多模态大语言模型在具身交互环境中的主动安全规划能力。该数据集建立在经典的具身指令遵循基准ALFRED之上，通过引入六类真实厨房安全隐患进行扩展，核心研究问题聚焦于模型能否将静态场景中的风险识别知识转化为动态环境中的主动风险缓解行为。SafetyALFRED的创建标志着安全评估范式从传统的问答式静态识别向具身情境下纠正性行动执行的转变，对推动安全可靠的自主智能体发展具有重要影响力。

当前挑战

SafetyALFRED数据集所解决的核心领域挑战在于弥合多模态大语言模型在抽象安全知识与具身安全行为之间的对齐鸿沟。具体而言，模型在静态问答任务中虽能较高精度识别安全隐患，但在需要同步执行任务与实施风险缓解的具身规划中表现显著下降，这揭示了现有基于问答的评估范式对物理安全评估的不足。在构建过程中，研究团队面临的主要挑战包括：如何系统性地在仿真厨房环境中定义和实例化六类具有现实意义的安全隐患；如何设计能够同时评估风险识别与缓解能力的双任务评估框架；以及如何确保生成的数据轨迹既能反映真实风险场景，又能支持对模型行为对齐度的量化分析。

常用场景

经典使用场景

在具身人工智能领域，SafetyALFRED数据集主要用于评估多模态大语言模型在动态交互环境中的安全规划能力。该数据集基于ALFRED基准构建，通过引入六类真实厨房安全隐患，系统性地测试模型在完成家务任务时识别风险并主动执行纠正行动的能力。其经典使用场景聚焦于模拟厨房环境中，要求模型在清洗餐具、加热食物等日常操作中，实时检测如微波炉内金属物品、水槽中电子设备等危险状态，并生成包含风险缓解步骤的可执行计划。这种场景设计精准捕捉了模型将抽象安全知识转化为具体行为的关键挑战。

衍生相关工作

SafetyALFRED的发布催生了一系列关注具身安全评估的衍生研究。其揭示的识别-缓解对齐差距启发了多智能体安全框架的探索，研究者通过分离危险识别与任务执行模块，尝试提升系统的整体安全性能。该数据集的设计理念也被后续基准如IS-Bench、SafeAgentBench等继承发展，共同推动了从文本问答到物理交互的安全评估范式演进。同时，其构建方法为如何在现有具身基准中系统注入安全约束提供了技术范本，促进了安全数据集的标准化建设与跨环境泛化研究。

数据集最近研究

最新研究方向

随着多模态大语言模型在具身智能领域的广泛应用，其安全规划能力成为研究焦点。SafetyALFRED数据集通过扩展ALFRED基准，引入六类真实厨房风险场景，旨在评估模型在动态环境中识别与主动缓解安全风险的能力。前沿研究揭示，尽管现有模型在静态问答任务中表现出较高的风险识别准确率，但在具身规划任务中，其风险缓解成功率显著偏低，凸显了抽象安全知识与具体行动执行之间的对齐鸿沟。这一发现推动了安全评估范式的转变，促使学界从传统的静态问答评估转向强调动态环境中纠正性行动的具身安全基准构建。相关研究不仅关注模型规模的扩展效应，还探索了多智能体框架下风险识别与缓解任务的解耦策略，以提升安全规划的鲁棒性。该数据集的研究为开发更安全、可靠的自主智能体提供了关键洞见，并强调了在复杂物理环境中集成感知、推理与行动的必要性。

相关研究论文

• SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models

  密歇根大学; 博伊西州立大学 · 2026年