nuPlan

nuPlan数据集是世界上首个真实世界的自动驾驶数据集和基准，由Motional机构创建。该数据集包含1282小时的多样化驾驶场景，涵盖拉斯维加斯、波士顿、匹兹堡和新加坡四个城市，并提供高质量的自动标注物体轨迹和交通灯数据。数据集旨在评估基于机器学习的规划器在处理各种驾驶情况时的能力，确保安全和高效决策。此外，nuPlan还提供了一个模拟和评估框架，允许规划器的动作在闭环中进行模拟，以考虑与其他交通参与者的交互。The nuPlan dataset is the world's first real-world autonomous driving dataset and benchmark, created by Motional. It contains 1,282 hours of diverse driving scenarios across four cities: Las Vegas, Boston, Pittsburgh, and Singapore, and provides high-quality automatically annotated object trajectories and traffic light data. The dataset is designed to evaluate the capabilities of machine learning-based planners when handling various driving situations, ensuring safe and efficient decision-making. In addition, nuPlan also provides a simulation and evaluation framework that allows closed-loop simulation of planner actions to account for interactions with other traffic participants.

搜集汇总

数据集介绍

构建方式

nuPlan数据集的构建依托于大规模真实世界驾驶场景的采集与精细化标注。研究团队在波士顿、匹兹堡、拉斯维加斯和新加坡四个城市，通过配备多传感器套件的手动驾驶车辆，累计采集了1282小时的多样化驾驶日志。为支撑基于学习的规划研究，数据集构建的核心在于其高质量的离线自动标注流程：首先，利用不受延迟约束的离线感知系统，融合多帧激光雷达点云，通过改进的检测网络与跟踪算法生成高精度的物体轨迹；其次，创新性地通过场景中交通参与者的运动模式来推断交通灯状态，而非依赖在线视觉检测，从而实现了大规模、高覆盖率的交通信号标注；最后，基于底层属性设计场景挖掘算法，从海量数据中自动识别并分类73种独特驾驶场景，为细粒度评估奠定基础。

特点

nuPlan数据集的核心特点在于其规模、真实性与评估体系的完整性。它不仅是目前规模最大的真实世界自动驾驶数据集，更首次提供了面向规划任务的闭环仿真与评估框架。数据集囊括了四大城市共1282小时的驾驶数据，并前所未有地公开了128小时的原始传感器数据。其标注体系独具优势：通过离线自动标注生成的物体轨迹具有更高保真度；基于运动推理的交通灯状态标注覆盖更全面；丰富的场景标签支持对规划器在特定交互情境下的性能进行深入分析。此外，数据集配套的仿真框架支持开环与闭环两种评估模式，并设计了结合安全性、合规性、舒适性与行进效率的多维度量化指标，从而能够全面、客观地衡量不同规划方法的实际表现。

使用方法

nuPlan数据集为自动驾驶规划研究提供了从模型训练到性能评估的完整工作流。研究者可利用其提供的海量真实轨迹与场景标签，训练各类基于模仿学习、强化学习或混合方法的规划模型。在评估阶段，通过集成数据集提供的仿真框架，可将待测规划器置于闭环环境中进行测试：仿真初始化时载入真实场景的观测信息，规划器根据当前环境状态输出轨迹，经由控制器转化为可行控制指令后驱动自车在仿真中前进，同时环境中的其他交通参与者可根据设定进行日志回放或基于智能驾驶员模型做出反应。评估系统将综合碰撞检测、交通规则遵守、行进进度及舒适性等多项指标，对规划器的综合表现进行量化评分。这种端到端的评估方式，使得研究者能够精准洞察规划模型在复杂、动态真实场景中的泛化能力与局限性。

背景与挑战

背景概述

在自动驾驶技术迅猛发展的浪潮中，感知与预测模块已广泛采用基于大规模数据训练的深度学习模型，然而规划任务仍长期依赖传统规则方法，机器学习技术的渗透相对迟缓。为弥合这一关键鸿沟，Motional研究团队于2021年推出了nuPlan数据集，作为全球首个面向真实世界驾驶场景的规划专用基准。该数据集汇聚了来自波士顿、匹兹堡、拉斯维加斯和新加坡四大城市总计1282小时的多样化驾驶日志，并创新性地提供了128小时的高质量传感器数据。其核心使命在于构建一个能够全面评估机器学习规划器在复杂、长尾交通场景中做出安全高效决策能力的测试平台，从而推动学习型规划算法的实质性突破，并为预测与规划的交互研究以及端到端系统设计奠定坚实的数据基础。

当前挑战

nuPlan数据集致力于解决自动驾驶领域规划模块的核心挑战，即如何使机器学习模型在开放环境中具备安全、泛化且类人的决策能力。具体而言，其面临的挑战体现在两大维度：在领域问题层面，学习型规划器需克服从有限训练样本中泛化到海量未见驾驶场景的难题，尤其需要处理交通参与者的长尾行为分布；同时，模型在闭环仿真中因自身决策引发的状态分布偏移，导致性能显著劣于开环评估，暴露了其应对动态交互与累积误差的脆弱性。在构建过程层面，创建大规模、高质量的规划基准本身即是一项艰巨任务，这包括为海量原始数据自动生成高精度的离线物体轨迹与交通灯状态标注，以及设计能够真实反映智能体交互反应的闭环仿真与评估框架，确保基准测试既严谨可靠又贴近现实世界的复杂性。

常用场景

经典使用场景

在自动驾驶规划领域，nuPlan数据集为基于学习的规划算法提供了前所未有的真实世界测试平台。其经典应用场景在于评估和比较不同规划器在复杂城市驾驶环境中的性能，特别是通过其闭环仿真框架，能够模拟智能体与周围交通参与者的动态交互。该数据集精心挖掘的73类驾驶场景，如变道、路口转弯、行人交互等，使得研究者能够针对特定驾驶行为进行细粒度分析，从而深入理解规划模型在长尾分布和罕见场景下的泛化能力与决策鲁棒性。

实际应用

在实际应用层面，nuPlan数据集及其仿真框架已被广泛用于自动驾驶公司的研发流程中，用于训练、验证和端到端测试规划模块。它能够模拟真实世界的复杂交通状况，例如波士顿的双重停车、新加坡的左行交通等地域性场景，从而帮助系统在部署前进行充分的安全性和适应性验证。此外，该数据集支撑的nuPlan挑战赛吸引了众多工业界与学术界团队参与，其优胜方案中融合学习与规则优点的混合架构，直接影响了下一代自动驾驶规划系统的工程设计方向，加速了数据驱动方法从研究到产品的转化进程。

衍生相关工作

nuPlan的发布催生了一系列重要的衍生研究工作。在规划算法方面，基于nuPlan训练的UrbanDriver模型展示了模仿学习在开环预测上的潜力，而挑战赛中获胜的CSTu、AutoHorizon等方案则探索了规则与学习融合的混合规划范式。在仿真与评估领域，ScenarioNet等框架将nuPlan与其他数据集集成，专注于强化学习训练。此外，该数据集也促进了多任务学习与端到端规划架构的发展，例如采用Transformer统一感知、预测与规划的模型，这些工作均利用nuPlan的大规模真实数据来提升模型对复杂驾驶场景的时空特征理解与综合决策能力。