commaai/comma1M

comma 1M 是一个大型自动驾驶数据集，包含一分钟的驾驶片段，每个片段都配有道路摄像头视频和完整的定位数据。这些数据由安装在真实用户车辆中的comma设备记录，覆盖了多个硬件代次（如comma two、comma three、comma 3X和comma four）。数据集结构包括每个片段ID下的视频文件（如fcamera.hevc和ecamera.hevc）、缩略图（thumbnail.jpg）以及定位估计文件（localizer.safetensors），后者融合了原始GNSS测量、加速度计和陀螺仪数据、车辆运动约束以及道路摄像头的视觉特征跟踪。A large self-driving dataset containing one-minute driving segments with road-camera video, and full localization data. Segments were recorded by comma devices installed in real user vehicles, spanning several hardware generations (comma two, comma three, comma 3X, and comma four). The dataset includes video files (e.g., fcamera.hevc, ecamera.hevc), thumbnails (thumbnail.jpg), and localization estimates (localizer.safetensors) that fuse raw GNSS measurements, accelerometer and gyroscope data, vehicle motion constraints, and visual feature tracks from the road cameras.

搜集汇总

数据集介绍

构建方式

comma1M数据集由安装在真实用户车辆中的comma设备采集而成，数据涵盖comma two、comma three、comma 3X及comma four四代硬件平台。每个数据片段为时长一分钟的驾驶片段，包含面向道路的摄像头视频和完整的定位信息。由于不同硬件代际的摄像头系统存在差异，数据集的原始分辨率和视场角并不统一。每个片段还附带一个基于离线定位估计的`localizer.safetensors`文件，融合了原始GNSS测量值、加速度计和陀螺仪数据、车辆运动约束以及来自道路摄像头的视觉特征轨迹。

使用方法

使用者可通过Hugging Face Hub提供的`hf_hub_download`函数下载指定片段的数据文件，例如使用`segment_id`获取对应的缩略图（`thumbnail.jpg`）或定位文件（`localizer.safetensors`）。定位数据以safetensors格式存储，可通过`load_file`加载为numpy数组，其中包含状态序列（位置、速度等）。借助`pymap3d`库可将地心地固坐标系（ECEF）坐标转换为经纬度，并利用`plotly`绘制带有速度信息的行驶轨迹地图，便于直观分析驾驶路径与动态特性。

背景与挑战

背景概述

comma1M数据集由comma.ai团队于2024年发布，旨在为自动驾驶研究提供大规模、多样化的真实驾驶数据。该数据集包含100万个一分钟长度的驾驶片段，涵盖了从comma two到comma four多个硬件世代的摄像头与定位数据，每段均配有道路摄像头视频及融合了GNSS、IMU、车辆运动约束和视觉特征跟踪的离线定位估计。其核心研究问题在于弥补现有自动驾驶数据集在真实用户车辆、异构传感器配置及复杂道路环境中的覆盖不足，从而推动端到端驾驶模型与定位算法的发展。该数据集的公开显著降低了自动驾驶研究的门槛，为学术界与工业界提供了可复现、可扩展的基准平台。

当前挑战

该数据集所解决的领域挑战主要体现在两个方面。其一，自动驾驶系统需要在多样化道路环境与传感器配置下实现鲁棒感知与定位，而现有数据集多局限于单一传感器或固定场景，comma1M通过汇聚真实用户车辆中跨硬件世代的数据，覆盖了非均匀分辨率、视角差异和动态环境，为泛化性研究提供了重要基础。其二，构建过程中面临的核心挑战包括：从数百万小时的原始驾驶记录中自动筛选出一分钟高质量片段，确保实际驾驶数据的代表性；统一处理不同硬件设备产生的异构传感器输出，实现精确的离线定位融合；以及在高数据吞吐量下维护数据的一致性与隐私合规性，这些均对数据工程的效率与可靠性提出了严苛要求。

常用场景

经典使用场景

在自动驾驶与智能交通系统的研究领域，comma1M数据集凭借其大规模、真实驾驶场景的特性，成为训练和评估端到端驾驶模型的经典基准。该数据集包含一分钟长度的行车片段，每段均配有路况摄像头视频与高精度全局定位信息，覆盖了多种硬件代际采集的多视角道路影像。研究者常利用其丰富的视觉特征与定位标签，开展车辆姿态估计、轨迹预测以及视觉-惯性融合定位等任务，为自动驾驶感知与决策模块提供了可靠的实测数据支撑。

解决学术问题

该数据集有效解决了自动驾驶研究中真实驾驶数据匮乏且标注成本高昂的难题。通过提供数万段来自真实用户车辆的驾驶记录，并融合GNSS、IMU及视觉特征追踪的离线定位结果，comma1M为多模态传感器融合算法、长时序运动建模以及大范围场景泛化性能评估提供了标准化测试平台。其跨硬件配置的数据特性亦推动了模型对不同摄像头参数鲁棒性的研究，对提升自动驾驶系统在复杂环境下的安全性与可靠性具有重要学术意义。

实际应用

在工程落地层面，comma1M数据集被广泛应用于驾驶辅助系统的功能验证与性能优化。开发人员可借助其包含的完整定位轨迹与路况视频，测试自动紧急制动、车道保持及自适应巡航等功能的反应逻辑。同时，该数据集支持从单目视觉中重建行驶环境的三维结构与动态运动，助力高精度地图的构建与更新以及模拟器中真实感驾驶场景的生成，从而降低实车路测成本并加速产品迭代。

数据集最近研究

最新研究方向

comma1M数据集以其大规模、真实驾驶场景的分钟级行车片段为核心，融合了多代硬件采集的道路摄像头视频与高精度离线定位数据，正推动自动驾驶领域在弱监督学习、多模态融合及低成本感知技术上的突破。该数据集聚焦于从复杂现实环境中提取鲁棒的运动轨迹与视觉特征关联，为端到端驾驶策略优化、基于视觉-惯导-卫星的联合定位算法验证提供了关键支撑，尤其契合当前行业对可扩展、低成本数据采集范式的追求。其公开的稀疏松弛定位结果与跨代异构传感器数据，有力促进了跨设备泛化性研究，为解决自动驾驶中数据集偏差与域适应难题树立了新标杆，对加速从封闭测试到开放道路部署的转化具有深远影响。