nuReasoning
收藏资源简介：
nuReasoning 是一个以推理为中心的多模态自动驾驶数据集，旨在评估和训练端到端驾驶系统在长尾现实场景中的表现。该数据集帮助模型将感知、地图上下文、参与者运动、自我状态、路线意图和安全约束与可解释的驾驶决策联系起来。每个示例围绕一个驾驶片段构建，包含同步的多摄像头上下文、LiDAR 元数据、自我状态、对象标注、高清地图上下文、任务命令和帧级推理标注。推理标注分为三类：空间推理（结构化场景上下文、摄像头级检测、对象关系、地图投影、3D 自我框架对象状态和潜在未来冲突）、决策推理（自然语言场景解释、关键组件、驾驶决策和因果推理轨迹）和反事实推理（替代行动、风险水平、安全结果以及解释为何应避免不安全或次优行动）。数据集包含 20K 个片段，约 105 小时的精选驾驶数据，分为 17K 训练片段、2K 验证片段和 1K 私有测试片段。每个片段约 20 秒，采样率为 10 Hz。数据集适用于自动驾驶推理、多模态场景理解、VLA 模型评估、轨迹规划和安全性反事实推理的研究与开发。
nuReasoning is a reasoning-centric multimodal autonomous driving dataset designed to evaluate and train end-to-end driving systems for their performance in long-tail real-world scenarios. This dataset enables models to link perception, map context, participant motions, ego state, route intent, and safety constraints with explainable driving decisions. Each example is constructed around a driving clip, containing synchronized multi-camera context, LiDAR metadata, ego state, object annotations, high-definition map context, task commands, and frame-level reasoning annotations. The reasoning annotations are categorized into three types: 1) Spatial reasoning: structured scene context, camera-level detections, object relationships, map projection, 3D ego-frame object states and potential future conflicts; 2) Decision reasoning: natural language scene explanations, key components, driving decisions and causal reasoning trajectories; 3) Counterfactual reasoning: alternative actions, risk levels, safety outcomes, and explanations for why unsafe or suboptimal actions should be avoided. The dataset includes 20K clips, totaling approximately 105 hours of curated driving data, split into 17K training clips, 2K validation clips and 1K private test clips. Each clip lasts about 20 seconds with a sampling rate of 10 Hz. This dataset is suitable for research and development in autonomous driving reasoning, multimodal scene understanding, VLA model evaluation, trajectory planning and safety-focused counterfactual reasoning.
根据您提供的数据集详情页面地址和README文件内容，以下是对 nuReasoning 数据集的总结：
数据集概览
- 数据集名称：nuReasoning
- 数据来源：Motional 内部自动驾驶车队
- 数据集所有者：Motional AD Inc.
- 许可证：Apache-2.0
- 主要语言：英文
- 任务类别：视觉问答、文本生成、机器人技术
- 数据集规模：约 20,000 个片段，总计约 105 小时驾驶数据
- 数据划分：17,000 个训练片段、2,000 个验证片段、1,000 个私有测试片段
- 片段格式：每个片段约 20 秒的驾驶数据
- 采样频率：10 Hz（传感器和状态数据）
- 模态：多视角摄像头、LiDAR、高清地图、自车状态、物体标注、交通灯状态、路线指令、推理标注
- 推理类型：空间推理、决策推理、反事实推理
- 隐私处理：已对面部和车牌进行模糊处理
数据集结构
数据集以自包含的片段目录组织，每个片段目录包含：
metadata.json：片段级元数据，包括片段标识、场景类型、时间戳、帧率、总帧数、地图标注、摄像头标定、帧列表等。map.pkl：静态局部地图上下文，包括车道、基线路径、车道边界、人行横道、路口、停止多边形、道路块、交通灯、车道连接器。ego_state/<timestamp_us>.pkl：自车状态，包括位姿、速度、加速度、尺寸、历史轨迹、未来轨迹。annotations/<timestamp_us>.pkl：物体标注和交通灯状态。reasoning/<timestamp_us>.json：推理标注，包含空间推理、决策推理和反事实推理。- 传感器资产：通过
metadata.json引用的八摄像头视图和 LiDAR 数据路径。
推理标注模式
每个帧的推理标注存储在 reasoning/<timestamp_us>.json 中，包含三个互补视图：
- 空间推理：结构化场景上下文、摄像头级检测、物体关系、地图投影、3D 自车帧物体状态、潜在未来冲突。
- 决策推理：自然语言场景解释、关键组件、驾驶决策、因果推理轨迹。
- 反事实推理：替代动作、风险等级、安全结果、解释为何不安全或次优动作应避免。
预期用途
- 评估 VLM/VLA 模型是否能将感知、地图上下文、角色运动、路线意图与驾驶决策联系起来。
- 对消费多视角驾驶上下文并生成结构化驾驶推理的模型进行监督微调。
- 基准测试反事实安全推理，包括替代纵向和横向动作。
- 研究物体级空间关系、未来冲突和长尾驾驶行为。
- 评估推理监督对下游规划性能的影响。
数据收集与标注
- 从真实世界自动驾驶日志中构建。
- 候选片段侧重强调具有挑战性的长尾驾驶场景，如弱势道路使用者、施工区、静止障碍物、交通控制异常、应急车辆、路面动物等。
- 标注过程结合自动场景提取与人工验证的推理标注。
- 推理标注从同步传感器、地图、自车、物体、路线和轨迹上下文中生成，经审查和校正。
可视化
提供了一个 Jupyter notebook (nureasoning_clip_visualizer.ipynb)，可用于加载和可视化数据片段，包括多视图摄像头图像、对象覆盖、BEV 地图和空间上下文、自车轨迹和路线上下文、驾驶和反事实推理标注。
基准测试
支持推理和规划导向的评估，包括：
- 推理任务：物体类型识别、相对位置与3D定位、运动与未来冲突预测、地图与拓扑理解、驾驶决策预测、推理轨迹生成、不安全动作识别、反事实风险评估。
- 规划任务：使用安全性、路线跟随、舒适性和人类相似度指标评估预测的自车轨迹。
伦理考量
- 用户应遵守所有数据集许可条款和访问限制。
- 避免尝试识别人、车辆、位置或私人属性。
- 评估下游模型的安全性、偏见、鲁棒性和滥用风险。
- 将模型输出视为研究产物，除非已通过部署所需的安全验证。
- 仅在与适用法律、隐私义务和自动驾驶安全实践一致的应用程序中使用数据集。
许可与使用条款
- 仓库许可证声明为 Apache-2.0。
- 数据集访问和文件可用性可能受到限制，直到内部审查、批准和合规流程完成。
- 用户必须遵循所有适用的数据集条款、机构政策和法律要求。
