drivelm-pseudo-labels

DriveLM Pseudo-Labels 是一个用于自动驾驶场景视觉问答任务的伪标签数据集。该数据集源于捷克技术大学电气工程学院的一项硕士论文研究，旨在通过生成大规模伪标签来增强现有 DriveLM 数据，以提升视觉问答模型的性能。数据集包含约 10 万条视觉问答对，通过 Qwen3 大语言模型结合思维链推理技术生成。生成过程以 nuScenes 自动驾驶数据集（涵盖波士顿和新加坡场景）的传感器先验信息为基础，包括 2D/3D 边界框、基于 LiDAR 的物体度量深度、多帧跟踪轨迹以及自车状态信息，并严格遵循 DriveLM 原始数据的问题类型分布，覆盖感知、预测、规划和行为四大类别。数据以 JSON 格式组织，每条记录包含唯一 ID、多摄像头图像路径列表、遵循特定格式的人类提问与 AI 回答对话、问题类别以及评估度量类型。除了完整的伪标签语料库文件，数据集还提供了多个已与原始 25k DriveLM 训练数据按不同比例（10%、30%、50%、100%）混合的增强版本文件，其中 10% 混合比例在实验中被证明能最有效地将模型在自定义测试集上的最终评估分数从 0.560 提升至 0.589。该数据集适用于自动驾驶领域的视觉语言模型预训练或微调，特别是用于研究数据增强、伪标签利用以及多模态问答任务。数据集基于 CC BY 4.0 许可证发布，但其底层依赖 nuScenes 数据需遵守相应使用条款。

DriveLM Pseudo-Labels is a pseudo-label dataset for visual question answering tasks in autonomous driving scenarios. It originates from a masters thesis research at the Faculty of Electrical Engineering, Czech Technical University, aiming to enhance existing DriveLM data by generating large-scale pseudo-labels to improve the performance of visual question answering models. The dataset contains approximately 100,000 visual question-answer pairs, generated using the Qwen3 large language model combined with chain-of-thought reasoning. The generation process is based on sensor prior information from the nuScenes autonomous driving dataset (covering Boston and Singapore scenes), including 2D/3D bounding boxes, LiDAR-based object metric depth, multi-frame tracking trajectories, and ego-vehicle state information, and strictly follows the question type distribution of the original DriveLM data, covering four categories: perception, prediction, planning, and behavior. The data is organized in JSON format, with each record containing a unique ID, a list of multi-camera image paths, human-question and AI-answer dialogues following a specific format, question categories, and evaluation metric types. In addition to the complete pseudo-label corpus file, the dataset provides multiple enhanced version files that have been mixed with the original 25k DriveLM training data in different proportions (10%, 30%, 50%, 100%), with the 10% mixing ratio proven in experiments to most effectively improve the models final evaluation score on a custom test set from 0.560 to 0.589. This dataset is suitable for pre-training or fine-tuning vision-language models in the autonomous driving domain, particularly for researching data augmentation, pseudo-label utilization, and multimodal question answering tasks. The dataset is released under the CC BY 4.0 license, but its underlying dependency on nuScenes data requires compliance with corresponding usage terms.

原始信息汇总

数据集概览

DriveLM Pseudo-Labels 是一个用于自动驾驶场景的视觉问答（VQA）数据集，由 Dmytro Khursenko 的硕士论文工作生成，采用 CC BY 4.0 许可。

核心信息

• 任务类型: 视觉问答（Visual Question Answering）
• 语言: 英语
• 数据规模: 约 98,700 个 VQA 对（100k 伪标签语料库）
• 数据来源: 基于 nuScenes 数据集（波士顿 + 新加坡）的传感器先验数据，使用 Qwen3 模型通过链式思维推理生成
• 标签风格: 遵循 DriveLM 的问题类型分布（感知、预测、规划、行为）
• 最佳效果: 将 10% 的伪标签与 25k 的 DriveLM 训练拆分混合，在 DriveLM Final Score 上从 0.560 提升至 0.589

数据集内容

数据集包含以下文件，每个记录遵循 DriveLM/LLaMA 对话格式：

文件	记录数	描述
drivelm_pseudo_qas_100k.json	~98,700	完整伪标签语料库
train_aug10pct.json	35,694	25k DriveLM + 10% 伪标签（最佳混合）
train_aug30pct.json	55,431	25k DriveLM + 30% 伪标签
train_aug50pct.json	75,168	25k DriveLM + 50% 伪标签
train_aug100pct.json	124,511	25k DriveLM + 100% 伪标签

每条数据的 JSON 结构包含：

• id: 唯一标识（场景标记_帧标记_QA索引）
• image: 多摄像头图像列表（如 CAM_FRONT.jpg）
• conversations: 人类提问与 GPT 回答的对话对
• category: 问题类别（perception / prediction / planning / behavior）
• metric_type: 评估指标类型（match / chatgpt / accuracy / language）

生成流程

使用来自 nuScenes 的传感器先验数据，输入 Qwen3 模型（扩展链式思维）生成自然语言 VQA 对。输入数据包括：

• 2D/3D 边界框（nuScenes 真值）
• 每目标度量深度（LiDAR 点云投影）
• 跟踪轨迹（多帧目标 ID）
• 自车状态（nuScenes CAN 总线）

覆盖的问题类型：

• 感知: 物体类别、移动状态
• 预测: 轨迹、是/否判断
• 规划: 自车行为、碰撞/安全性
• 行为: 自车驾驶状态

数据增强结果

在定制的 i.i.d. DriveLM-nuScenes 测试集（3,340 个 QA 对）上的评估结果：

训练数据	Final	Acc	ChatGPT	Lang	Match	Coord
LoRA-25k（无增强）	0.560	0.826	0.589	0.459	0.338	0.015
LoRA-25k + DL-PL 10%	0.589	0.836	0.676	0.451	0.304	0.013
LoRA-25k + DL-PL 30%	0.548	0.832	0.605	0.434	0.264	0.008
LoRA-25k + DL-PL 50%	0.532	0.832	0.584	0.433	0.230	0.007
LoRA-25k + DL-PL 100%	0.511	0.805	0.544	0.430	0.232	0.007

评分定义（所有指标归一化至 [0,1]）：

• Accuracy: MCQ/是-否问题的精确匹配（严格格式）
• Language: BLEU-1~4、ROUGE-L、CIDEr/10 的均值
• ChatGPT: GPT-3.5-turbo 语义评分（0-100，Final 中除以 100）
• Match: (F1_coord × 100 + GPT_match) / 2（0-100，Final 中除以 100）
• Coord: L1 < 16px 时的坐标 F1（诊断用，不参与 Final）
• Final: 0.4 × (GPT/100) + 0.2 × Language + 0.2 × (Match/100) + 0.2 × Accuracy

微调模型

模型	Hugging Face 仓库	Final
LoRA-25k	https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k-drivelm	0.560
LoRA-300k	https://huggingface.co/dkhursen/InternVL2-2b-LoRA-300k-drivelm	0.493
LoRA-25k + DL-PL 10% ⭐	https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k_plus_DL-PL-10pct	0.589
LoRA-25k + Oracle annotation	https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k-drivelm-offline-redcircle-ctag-bkgd	0.775

引用

bibtex @mastersthesis{khursenko2026vqa, author = {Khursenko, Dmytro}, title = {Visual Question Answering for Autonomous Driving}, school = {Czech Technical University in Prague, Faculty of Electrical Engineering}, year = {2026}, supervisor = {Hurych, David and Tolias, Georgios} }

bibtex @inproceedings{caesar2020nuscenes, title = {nuScenes: A Multimodal Dataset for Autonomous Driving}, author = {Caesar, Holger and Bankiti, Varun and Lang, Alex H and others}, booktitle = {CVPR}, year = {2020} }

搜集汇总

数据集介绍

构建方式

在自动驾驶视觉问答研究的推进中，DriveLM伪标签数据集应运而生。该数据集基于nuScenes传感器先验信息，利用具备链式思维推理能力的Qwen3模型，严格遵循DriveLM问题类型分布，生成了约10万对视觉问答（VQA）样本。构建流程首先从nuScenes中提取2D/3D边界框、LiDAR点云投影的逐物体度量深度、多帧目标跟踪轨迹以及CAN总线记录的自我车辆状态等多模态先验信息，随后将这些结构化数据输入Qwen3模型，通过扩展的思维链推理过程生成自然语言的问答对。最终产出的数据以对话格式组织，每条记录包含场景与帧标识、多视角图像路径、人类与GPT的问答对话以及问题类别与度量类型字段。

使用方法

使用该数据集开展研究时，需首先从Hugging Face仓库下载`drivelm_pseudo_qas_100k.json`完整语料文件，以及预混好的增强子集（如`train_aug10pct.json`）。数据集遵循DriveLM/LLaMA对话格式，可直接用于微调多模态大语言模型，推荐以InternVL2-2B等轻量模型为基座，采用LoRA参数高效微调方案。实践中建议优先尝试10%伪标签混合策略，即将其与原始25k DriveLM对齐训练集合并；若需探索更高比例，则需引入额外的质量过滤步骤以避免噪声累积。训练完成后，可参照论文提供的评估协议，在自定义的i.i.d.测试集上计算Accuracy、ChatGPT语义分数、Language分数和Match分数，并综合得出Final评分进行性能对比。

背景与挑战

背景概述

DriveLM-Pseudo-Labels数据集由捷克理工大学电气工程学院的Dmytro Khursenko在其硕士论文研究中创建，依托于Valeo公司David Hurych博士与Georgios Tolias博士的指导，旨在解决自动驾驶中的视觉问答（VQA）挑战。该数据集于2026年发布，基于nuScenes多模态自动驾驶数据集（波士顿与新加坡场景），通过Qwen3大语言模型结合链式思维推理，生成了约10万组遵循DriveLM问题类型分布的伪标签VQA对。其核心研究问题在于评估伪标签数据增强对自动驾驶场景理解模型性能的影响，实验表明适度混合10%伪标签可使DriveLM最终评分从0.560提升至0.589，揭示了数据质量与数量的微妙平衡，为自动驾驶中的低成本数据扩充开辟了新路径。

当前挑战

该数据集应对的领域挑战聚焦于自动驾驶视觉问答中标注数据稀缺且成本高昂的问题，DriveLM-Pseudo-Labels借助nuScenes传感器的先验信息（如2D/3D边界框、激光雷达点云深度、跟踪轨迹及自车状态），通过大模型自动化生成问答对，力求以较低成本扩展训练样本，从而提升模型对环境感知、预测、规划及行为理解的综合能力。构建过程中面临的主要挑战包括：伪标签质量敏感于生成比例，实验中超过10%的混合比例反而导致评分下降，反映出无质量过滤的伪标签引入噪声的风险；同时，从多模态传感器先验到自然语言问答对的映射需精准对齐问题类型分布，且生成管道的鲁棒性依赖于链式思维推演的稳定性，这要求对输入特征与输出格式进行严格校验以避免语义偏差。

常用场景

经典使用场景

DriveLM-Pseudo-Labels数据集的核心应用场景在于为自动驾驶视觉问答任务提供大规模伪标签训练数据。该数据集基于nuScenes传感器先验信息（包括波士顿与新加坡场景），采用Qwen3大语言模型结合思维链推理策略生成，严格遵循DriveLM问题类型分布，涵盖感知、预测、规划与行为四大类别。通过将约10万对伪标签VQA样本与原始25k训练集混合，研究者能够在保持数据分布一致性的前提下显著扩充训练规模，尤其适用于解决真实标注数据稀缺场景下的模型微调与性能提升。经典使用方式是将10%比例伪标签融入基线训练集，已在InternVL2-2B模型上实现Final Score从0.560至0.589的实质性突破。

解决学术问题

该数据集直面的核心学术瓶颈在于自动驾驶领域高质量VQA标注数据的昂贵获取成本与有限规模对多模态大模型性能的制约。传统的DriveLM训练集仅包含25000条精心标注但数量有限的QA对，难以支撑大规模参数模型的有效训练。本研究通过提出一种基于大语言模型的伪标签生成流水线，系统性解决了数据稀缺环境下的模型鲁棒性与泛化能力不足问题。实验证据表明，适度混入10%伪标签可显著提升模型在语义匹配（ChatGPT分数从0.589升至0.676）与精确度（0.826至0.836）维度的表现，从而验证了伪标签策略在自动驾驶VQA领域降低标注成本同时保持甚至提升模型性能的可行性，为数据高效训练范式提供了重要理论支撑。

实际应用

在实际产业应用中，DriveLM-Pseudo-Labels数据集为自动驾驶系统的感知-预测-规划全栈能力评估与增强提供了直接解决方案。通过引入伪标签增强训练，自动驾驶车辆能够更准确地理解多摄像头视野内的交通参与者状态（如车辆类型、运动状态），预测未来轨迹并规划安全驾驶行为。该数据集特别适用于城市环境下的自主导航系统开发，可辅助模型学习在复杂交叉路口、行人密集区域及动态交通流中的决策推理能力。此外，其生成的伪标签可直接用于量产车型的感知模型迭代，降低对昂贵人工标注的依赖，加速自动驾驶系统从研发到部署的产业化进程，同时保持模型在边缘计算设备上的高效推理性能。

数据集最近研究

最新研究方向

在自动驾驶视觉问答领域，数据增强策略正成为提升模型泛化能力的关键突破口。DriveLM Pseudo-Labels数据集通过利用nuScenes传感器先验信息，借助Qwen3大语言模型的链式思维推理生成约10万对伪标签，创新性地探索了合成数据对DriveLM基准的增强效果。研究发现，将10%的伪标签与原始25k训练集混合，可使DriveLM最终评分从0.560提升至0.589，而更高比例的混合反而因质量噪声导致性能退化，这一发现揭示了伪标签质量筛选机制的重要性。该工作不仅验证了大规模伪标签在自动驾驶场景理解中的潜力，也为数据稀缺条件下的多模态学习提供了一条低成本、可扩展的路径，对推动自动驾驶感知与决策系统的鲁棒性提升具有重要参考价值。