CoInfra

CoInfra 是一个大规模的协作基础设施感知系统和数据集，旨在推进在真实世界和恶劣天气条件下的鲁棒多智能体感知。该数据集包括来自8个基础设施节点的195k LiDAR帧和390k摄像头图像，这些节点在全球范围内时间同步和空间校准。数据集收集了不同天气场景下的数据，包括晴天、雨天、冻雨和大雪。此外，提供了5个物体类别（即汽车、公共汽车、卡车、人和自行车）的全面3D边界框注释，以及高清晰度地图，以便进行上下文理解。该数据集旨在解决在复杂城市环境中恶劣天气条件下准确感知环境和所有参与交通代理的关键挑战。CoInfra is a large-scale collaborative infrastructure-aware system and dataset, which aims to advance robust multi-agent perception in real-world and adverse weather conditions. This dataset contains 195k LiDAR frames and 390k camera images from 8 infrastructure nodes that are temporally synchronized and spatially calibrated globally. It collects data under diverse weather scenarios including sunny days, rainy days, freezing rain and heavy snow. In addition, comprehensive 3D bounding box annotations for 5 object categories (i.e., car, bus, truck, pedestrian and bicycle) as well as high-definition maps are provided to facilitate contextual understanding. This dataset is designed to address the critical challenge of accurately perceiving the environment and all involved traffic agents in complex urban environments under adverse weather conditions.

原始信息汇总

CoInfra数据集概述

数据集简介

• 名称：CoInfra
• 类型：大规模协同基础设施感知系统与数据集
• 特点：专为恶劣天气条件（雪、雨、冻雨）下的多智能体感知研究设计
• 规模：
  • 14个同步基础设施节点
  • 每个节点配备1个LiDAR和2个摄像头
  • 覆盖共享区域的全场景感知

数据集内容

• 数据量：
  • 约195k LiDAR帧
  • 约390k相机图像
  • 220k标注的3D边界框（5类：汽车、公交车、卡车、自行车、行人）
• 天气场景：晴天、雨天、雪天、冻雨
• 附加数据：
  • HD地图
  • 相机-LiDAR标定数据
  • 全局对齐数据

下载信息

• 示例数据集：Mini Example Dataset
• 完整数据集获取方式：
  • 邮箱联系：[e-mail]
  • HuggingFace下载：Download

应用场景

• 恶劣天气下的多节点3D目标检测与跟踪
• 延迟感知的实时感知同步
• 交互密集环岛场景的运动预测

基准实验

融合策略	HD地图	mAP（所有类别）
早期融合	✘	0.984
早期融合	✔️	0.986
后期融合	✘	0.931
后期融合	✔️	0.952

引用

bibtex @article{ning2025coinfra, title={CoInfra: A Large-Scale Cooperative Infrastructure Perception System and Dataset in Adverse Weather}, author={Ning, Minghao and Yang, Yufeng and Shu, Keqi and Huang, Shucheng and Zhong, Jiaming and Salehi, Maryam and Rahmani, Mahdi and Lu, Yukun and Sun, Chen and Saleh, Aladdin and Hashemi, Ehsan and Khajepour, Amir}, journal={arXiv preprint arXiv:2507.02245}, url={https://arxiv.org/abs/2507.02245}, year={2025} }

许可证

• 类型：CC BY-NC 4.0 License

搜集汇总

数据集介绍

构建方式

CoInfra数据集通过部署14个完全同步的传感器节点构建而成，每个节点配备双RGB摄像头和LiDAR传感器，覆盖共享区域并实时捕获所有交通参与者。系统采用延迟感知同步协议和可扩展的架构，支持实时数据融合、OTA管理和远程监控。数据采集涵盖多种天气条件，包括晴天、雨天、冻雨和大雪，确保数据多样性和环境鲁棒性。

特点

CoInfra数据集包含195k LiDAR帧和390k相机图像，来自8个基础设施节点，所有数据均经过全局时间对齐和空间校准。数据集提供五类目标（汽车、公交车、卡车、行人和自行车）的全面3D边界框标注，包括全局和单个节点坐标系下的标注，并集成高清地图以增强上下文理解。其多模态、多节点特性及恶劣天气覆盖使其成为研究鲁棒协同感知的理想资源。

使用方法

CoInfra数据集适用于协同感知算法的开发与评估，支持早期和晚期融合策略的比较研究。用户可通过全局或节点坐标系下的标注进行多目标检测与跟踪实验，结合高清地图优化感知性能。数据集开放了代码库和系统文档，便于复现研究，特别适用于恶劣天气条件下的自动驾驶感知任务。

背景与挑战

背景概述

CoInfra是由滑铁卢大学Minghao Ning等研究人员于2025年提出的一个大规模协同基础设施感知系统与数据集，旨在推动恶劣天气条件下的多智能体感知研究。该系统部署了14个完全同步的传感器节点，每个节点配备双RGB摄像头和激光雷达，覆盖共享区域以实时捕捉所有交通参与者。数据集包含195k激光雷达帧和390k相机图像，涵盖晴天、雨天、冻雨和大雪等多种天气场景，并提供五类目标（汽车、公交车、卡车、行人和自行车）的全面3D边界框标注。CoInfra通过开源其数据集、代码库和系统文档，为基础设施支持的自动驾驶研究提供了重要资源，特别是在具有挑战性的真实世界环境中。

当前挑战

CoInfra面临的挑战主要体现在两个方面：领域问题挑战和构建过程挑战。在领域问题方面，恶劣天气条件下的感知精度和鲁棒性仍是主要难题，如大雪和冻雨导致的激光雷达噪声和相机模糊问题。多节点数据的时间同步与空间校准也极具挑战性，尤其是在存在通信延迟和消息丢失的情况下。在构建过程中，实现14个节点的精确同步需要复杂的延迟感知协议，而大规模多模态数据的采集、存储和处理对系统架构提出了严格要求。此外，在恶劣天气条件下保持传感器的稳定运行和数据质量也需要特殊设计。这些挑战使得构建一个全面、可靠的大规模协同感知系统变得异常复杂。

常用场景

经典使用场景

CoInfra数据集专为恶劣天气条件下的协同感知研究而设计，其经典使用场景包括多节点传感器数据融合、三维物体检测与跟踪，以及复杂交通场景下的行为预测。通过14个同步传感器节点采集的多模态数据，研究者在真实世界的雨雪天气中验证协同感知算法的鲁棒性，克服单一传感器视场受限和遮挡问题。该数据集特别适用于评估基础设施支持的自动驾驶系统在动态环岛等交互密集场景中的性能。

解决学术问题

CoInfra数据集有效解决了协同感知领域三大核心问题：跨节点时间同步难题通过延迟感知协议实现毫秒级对齐；恶劣天气下感知退化问题借助多节点数据互补性得以缓解；真实场景数据匮乏的困境被195k激光雷达帧和390k图像帧的规模突破。其带标注的全局坐标系三维边界框和高清地图为多目标跟踪、运动预测等任务提供基准，填补了现有数据集在天气多样性和城市复杂性方面的空白。

衍生相关工作

基于CoInfra衍生的研究集中在三个方向：延迟感知融合算法改进早期/晚期融合策略的平衡点；注意力机制优化多节点通信效率的工作Who2comm扩展至基础设施网络；高清地图辅助的BEV特征融合方法推动V2X-ViT等模型在真实场景落地。部分团队正探索其点云补全算法在传感器退化场景的应用价值。