WAYMO OPEN MOTION DATASET

WAYMO OPEN MOTION DATASET是由Waymo LLC创建的大规模交互式运动预测数据集，旨在推动自动驾驶系统中的运动预测模型发展。该数据集包含超过100,000个场景，每个场景20秒长，覆盖1750公里的道路，数据来源于美国六个城市的车辆、行人和自行车之间的互动。数据集使用高精度的3D自动标注系统生成高质量的3D边界框，并提供相应的高清3D地图。此外，数据集还引入了新的度量标准，用于全面评估单个代理和联合代理交互运动预测模型的性能。该数据集的应用领域主要集中在提高自动驾驶系统中的运动预测准确性，特别是在需要预测多个对象联合行为的复杂场景中。The Waymo Open Motion Dataset is a large-scale interactive motion prediction dataset created by Waymo LLC, aimed at advancing the development of motion prediction models in autonomous driving systems. It contains over 100,000 scenarios, each 20 seconds in duration, spanning 1,750 kilometers of roadways. The data is sourced from interactions between vehicles, pedestrians, and cyclists across six cities in the United States. The dataset is generated using a high-precision 3D automatic annotation system to produce high-quality 3D bounding boxes, and it also provides corresponding high-definition 3D maps. Additionally, the dataset introduces novel metrics for comprehensively evaluating the performance of individual agent and joint agent interactive motion prediction models. Its application scenarios mainly focus on improving the accuracy of motion prediction in autonomous driving systems, particularly in complex scenarios where the joint behavior of multiple objects needs to be predicted.

搜集汇总

数据集介绍

构建方式

在自动驾驶运动预测领域，构建高质量数据集需克服真实世界数据分布不均的挑战。WAYMO OPEN MOTION DATASET通过精心设计的交互场景挖掘方法构建，从覆盖美国六个城市的大规模驾驶数据中，基于语义谓词与关系数据库框架，系统性地检索并标注了包括并线、无保护转弯、行人-车辆交互等八类关键交互场景。每个场景截取为20秒片段，并利用先进的离线感知系统自动生成高精度三维边界框轨迹，有效降低了感知噪声对运动预测研究的影响。

特点

该数据集在规模与多样性上具有显著优势，包含超过10万个场景、574小时独特数据与1750公里道路覆盖。其核心特点在于专注于多智能体交互行为，不仅提供车辆轨迹，还涵盖行人及骑行者的丰富交互标注，其中38.3%的场景需预测多类智能体。数据以10Hz频率采样，提供长达8秒的预测视野，并配备高精度三维高清地图，包含车道、交通信号等静态与动态要素。与现有数据集相比，其交互验证集通过条件行为预测量化证实了更高的交互强度，为复杂驾驶场景的联合预测研究提供了坚实基础。

使用方法

数据集为研究提供了标准化的使用框架。原始20秒片段被划分为9.1秒的场景窗口，并分割为训练、验证与测试集，其中验证与测试集进一步区分为标准版本与交互专注版本。标准版本每场景最多预测8个智能体，侧重非匀速与非直线轨迹；交互版本则聚焦于已标注的交互智能体对。研究可利用提供的三维目标状态、地图信息及交通信号状态，开发单智能体或联合预测模型。评估时，除常规的最小平均位移误差等指标外，数据集引入了针对联合预测的度量标准与创新的平均精度指标，支持跨轨迹形状类别的平衡性能评估。

背景与挑战

背景概述

随着自动驾驶技术的日益成熟，运动预测作为规划系统的关键需求受到广泛关注。Waymo Open Motion Dataset于2021年由Waymo LLC与Google Brain团队联合发布，旨在解决复杂交互场景下的多智能体联合运动预测问题。该数据集覆盖美国六个城市，包含超过10万个场景，总时长逾570小时，道路里程达1750公里，并提供了高精度的3D边界框标注与高清地图信息。其核心研究问题聚焦于提升自动驾驶系统在并道、无保护转弯等交互情境中的预测能力，通过大规模真实世界数据推动运动预测模型的发展，对自动驾驶领域的研究与实践产生了深远影响。

当前挑战

该数据集致力于解决自动驾驶中多智能体交互运动预测的挑战，其核心问题在于如何准确预测车辆、行人及骑行者在复杂交互场景中的联合轨迹，而非单一对象的独立运动。构建过程中的挑战主要体现在数据采集与标注方面：首先，真实世界驾驶数据分布高度不均衡，常见场景如匀速直行占据主导，而关键交互行为相对稀疏，需通过精心设计的语义谓词从海量数据中挖掘交互片段；其次，传统车载感知系统受实时性限制，标注噪声较大，为此团队采用了离线的3D自动标注系统，以牺牲实时性为代价提升标注质量，但这一过程仍需克服计算资源消耗与时序一致性维护等难题。

常用场景

经典使用场景

在自动驾驶运动预测领域，WAYMO OPEN MOTION DATASET 最经典的使用场景是开发与评估多智能体联合运动预测模型。该数据集通过精心挖掘的交互场景，如车辆汇入、无保护转弯、行人-车辆交互等，为研究者提供了丰富的交互行为标注。这些场景要求模型不仅预测单个智能体的轨迹，还需考虑多个智能体之间的相互影响，从而生成物理一致且社会合规的联合预测。数据集长达8秒的预测时域与高精度的三维标注，使其成为探索长时程、多模态交互预测问题的理想测试平台。

衍生相关工作

基于WAYMO OPEN MOTION DATASET，学术界已衍生出一系列专注于交互建模与联合预测的经典工作。例如，研究通过图神经网络显式编码智能体间的高阶交互，或利用条件预测框架量化智能体间的相互影响。数据集中引入的联合评估指标也催生了新的模型优化目标，促使研究者开发能够输出联合一致的多轨迹假设的生成式模型。这些工作共同推动了多智能体运动预测领域向更精细化、更物理可信的方向发展，并为后续研究设立了新的性能基准与挑战。

数据集最近研究

最新研究方向

在自动驾驶领域，运动预测作为规划系统的核心环节，正逐步从单一智能体轨迹预测转向多智能体交互行为的联合建模。Waymo Open Motion Dataset以其大规模、高精度的交互场景标注，为这一前沿方向提供了关键数据支撑。当前研究热点聚焦于开发能够捕捉车辆、行人及骑行者之间复杂相互依赖关系的联合预测模型，例如通过图神经网络或隐变量模型实现场景一致的轨迹生成。这些模型不仅需处理长时域（如8秒）的预测挑战，还需整合高精度地图与交通信号状态等多模态上下文信息。该数据集的发布推动了交互行为量化评估方法的发展，如基于条件行为预测的交互度度量，以及兼顾精度与召回率的平衡性评估指标（如mAP），为构建更安全、拟人化的自动驾驶系统奠定了理论与实践基础。

相关研究论文

• Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset

  Waymo LLC · 2021年