TB-Places

TB-Places数据集由伯努利数学、计算机科学与人工智能研究所创建，专注于测试花园环境中的视觉位置识别算法。该数据集包含超过23,000张在不同季节和光照条件下拍摄的真实花园图像，每张图像都附有地面实况相机姿态。数据集通过使用改进的Bosch Indego割草机机器人和配备5对立体相机的相机装置进行记录。TB-Places数据集旨在解决农业和园艺自动化中机器人视觉定位的挑战，特别是在处理花园中绿色颜色、重复模式和纹理的问题。The TB-Places dataset was developed by the Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, and is dedicated to testing visual place recognition algorithms in garden environments. This dataset contains over 23,000 real garden images captured under varying seasons and lighting conditions, with each image paired with ground-truth camera poses. It was collected using a modified Bosch Indego lawnmower robot and a camera rig equipped with 5 stereo camera pairs. The TB-Places dataset aims to address the challenges of robotic visual localization in agricultural and horticultural automation, particularly when handling green hues, repetitive patterns, and textures present in garden settings.

搜集汇总

数据集介绍

构建方式

TB-Places数据集专为花园环境下的视觉地点识别任务而设计，其构建过程依托于TrimBot2020项目中的真实花园场景。数据采集平台为一款改装后的Bosch Indego割草机器人，搭载了由五组立体相机组成的360度视野相机装置，图像分辨率为752×480像素。数据集包含四个子集：分别于2016年、2017年和2018年在荷兰瓦赫宁根花园采集的W16、W17和W18子集，以及2017年在德国雷宁根花园采集的R17子集。其中，W18子集新增了超过23,000张图像，并针对相机曝光参数进行了优化，以捕捉更清晰的下部细节。每个图像均通过TopCon激光跟踪仪和惯性测量单元获取了花园参考系下的精确相机位姿真值，同时所有图像对均被标注为相似或非相似场景，构成了完整的成对相似性真值。

特点

该数据集的核心特点在于其针对花园环境独特挑战的专门设计。花园场景以绿色调为主，充斥着重复的纹理和图案，且受季节更替、光照变化及视点偏移的显著影响，这使得传统地点识别算法在此类环境中表现不佳。TB-Places数据集通过多季节、多光照条件下的真实数据采集，涵盖了丰富的视觉变化，包括不同年份的植被生长状态和相机曝光参数的调整。此外，数据集内部具有高度相似性（如灌木丛之间的视觉混淆），这迫使算法不仅需要捕捉场景中的关键结构，还需忽略无关背景。W18子集特别优化了曝光设置，使低处地标细节更为清晰，为高精度位姿估计提供了更优质的视觉参考。

使用方法

该数据集的使用方法主要围绕训练和评估基于卷积神经网络的花园专用图像描述符展开。研究者可采用孪生网络架构，以ResNet、DenseNet或NetVLAD作为骨干网络，并通过对比损失函数进行训练。推荐使用W17子集作为训练集，W18子集作为测试集，以评估模型对季节变化、色彩差异及未见过场景区域的泛化能力。训练过程中，需设置合适的损失边界超参数α（如基于训练集F1分数优化），并仅微调深层卷积层（如最后一个残差块或卷积块）以减少参数量。评估时，通过计算图像描述符之间的欧氏距离并设定阈值，可生成精确率-召回率曲线及平均精度（AP）指标，从而量化模型在花园环境下的地点识别性能。

背景与挑战

背景概述

视觉地点识别是计算机视觉与机器人领域的关键技术，广泛应用于自主导航、闭环检测及摄像机定位等任务。然而，现有研究多聚焦于室内或城市环境，鲜有涉及花园这类自然场景。花园中植被繁茂，绿色主导，纹理重复且结构相似，加之光照、季节及视角的剧烈变化，给地点识别带来了独特困境。为填补这一空白，Maria Leyva-Vallina等来自荷兰格罗宁根大学Bernoulli研究所的研究人员，于2019年提出了TB-Places数据集。该数据集依托TrimBot2020项目，在瓦赫宁根大学与博世研究中心的真实花园中采集，包含逾8万张图像，并提供了精确的摄像机位姿与成对相似性标注。TB-Places的发布，为评估和推动花园场景下的地点识别算法提供了标准化基准，显著促进了农业与园艺机器人视觉感知能力的发展。

当前挑战

TB-Places数据集所面临的挑战主要集中在两个方面。首先，在领域问题层面，花园场景因大量绿色植被、重复纹理（如灌木丛）和内部相似性，导致基于全局描述子的地点识别算法极易混淆不同位置；同时，光照、季节和视角变化进一步加剧了识别难度。其次，在数据集构建过程中，需克服机器人平台多相机同步、高精度位姿标定（依赖激光跟踪仪与惯性测量单元）等技术难题；且为模拟真实应用，采集需跨越不同季节与曝光条件，导致数据分布差异显著。实验表明，现有CNN模型（如ResNet、DenseNet）在TB-Places上泛化能力有限，易因输入变化（如相机曝光调整）而过拟合，亟需设计更鲁棒的花园专用特征描述子。

常用场景

经典使用场景

TB-Places数据集专为花园环境中的视觉地点识别任务设计，其核心应用场景是在充满绿色植被、重复纹理和季节性变化的复杂自然场景中，评估和提升算法对先前访问地点的识别能力。该数据集包含在不同季节和光照条件下于真实花园中录制的图像，并提供了精确的相机位姿真值以及图像对之间的相似性标注，为研究花园这一特殊环境下的地点识别问题提供了标准化的测试基准。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于孪生网络和对比损失函数训练花园专属图像描述符的研究，其中以ResNet、DenseNet和NetVLAD为骨干网络的模型被广泛评估。这些工作不仅提出了针对花园环境的特征学习方法，还揭示了模型在跨季节和不同相机曝光设置下泛化能力的局限性，进而催生了关于提高CNN对输入变化鲁棒性的研究，如推挽层（push-pull layer）的引入。此外，该数据集也为后续的农业机器人视觉导航基准测试提供了重要参考。

数据集最近研究

最新研究方向

随着农业与园艺机器人自动化需求的激增，视觉地点识别在花园这类高度非结构化环境中的研究正成为前沿热点。TB-Places数据集应运而生，聚焦于解决花园场景中因季节更替、光照变化及重复纹理带来的视觉混淆难题。当前研究方向以深度学习为核心，探索通过孪生网络架构与对比损失函数学习花园专属的全局图像描述符，如基于ResNet、DenseNet及NetVLAD的改进模型。实验表明，针对花园数据微调后的模型在识别精度上显著超越通用预训练模型，但泛化能力仍受限于相机曝光参数与环境外观变化。这一研究不仅推动了精准农业机器人导航与闭环检测技术的发展，也为在复杂自然环境中实现鲁棒的视觉定位提供了关键基准与数据支撑。

相关研究论文

• Place recognition in gardens by learning visual representations: data set and benchmark analysis

  伯努利数学、计算机科学与人工智能研究所 · 2019年