MCUBench

MCUBench是由Deeplite, Inc.创建的一个综合基准数据集，包含了超过100个专为微控制器单元（MCU）设计的基于YOLO的对象检测模型。这些模型在Pascal VOC数据集上训练，并通过在四个不同的MCU平台上进行Pareto分析来选择。数据集的大小和复杂性使其适用于评估MCU在对象检测任务中的性能。创建过程中，模型在相同的训练管道下进行训练，确保了比较的公平性。MCUBench主要应用于边缘计算和TinyML领域，旨在解决在资源受限的MCU设备上高效部署对象检测模型的问题。MCUBench is a comprehensive benchmark dataset created by Deeplite, Inc., which contains over 100 YOLO-based object detection models specifically designed for Microcontroller Units (MCUs). All these models are trained on the Pascal VOC dataset and selected via Pareto analysis across four distinct MCU platforms. The scale and complexity of this dataset make it suitable for evaluating the performance of MCUs in object detection tasks. During its creation, all models were trained under an identical training pipeline to ensure fair comparison. MCUBench is primarily applied in the fields of edge computing and TinyML, aiming to address the challenges of efficiently deploying object detection models on resource-constrained MCU devices.

搜集汇总

数据集介绍

构建方式

MCUBench数据集的构建基于对超过100个基于YOLO的对象检测模型在七个不同MCU上的评估。这些模型在VOC数据集上进行训练，并通过固定训练管道进行控制比较，以收集包括平均精度、延迟、RAM和Flash使用情况在内的详细性能指标。通过Pareto最优分析，研究团队展示了现代检测头和训练技术的整合如何使包括YOLOv3在内的多种YOLO架构在平均精度（mAP）和延迟之间实现高效权衡。

特点

MCUBench数据集的显著特点在于其针对MCU级硬件的优化设计，涵盖了从YOLOv3到YOLOv8的多种模型变体。该数据集通过详细的性能指标，如平均精度、延迟、RAM和Flash使用情况，为模型选择提供了依据。此外，MCUBench还提供了训练模型的权重，便于开发者根据具体需求进行模型选择和微调，而无需独立训练多个模型。

使用方法

MCUBench数据集的使用方法包括首先根据特定的平均精度、延迟、RAM和Flash需求选择合适的模型。随后，开发者可以利用提供的训练权重进行进一步的微调，以优化模型性能。数据集还支持在不同MCU平台上进行模型性能的比较，帮助开发者选择最适合其应用场景的硬件和模型组合。

背景与挑战

背景概述

在计算机视觉领域，物体检测是一项关键任务，涉及图像中物体的识别和定位。这一技术在自动驾驶汽车、安全系统、机器人和增强现实等应用中至关重要。近年来，人工智能的进步显著推动了这些应用的发展，主要得益于专用硬件如GPU和NPU提供的增强处理能力和内存容量。然而，许多计算机视觉应用需要在边缘部署，考虑到隐私、低延迟和能效等因素，这为在微控制器单元（MCUs）等小型硬件平台上部署深度学习物体检测模型带来了挑战。MCUBench数据集由Deeplite公司于2024年引入，旨在评估超过100种基于YOLO的物体检测模型在七种不同MCU上的性能，提供关于平均精度、延迟、RAM和Flash使用的详细数据。该数据集通过在固定训练管道下进行受控比较，收集了全面性能指标，展示了现代检测头和训练技术如何使各种YOLO架构在平均精度（mAP）和延迟之间实现高效权衡。

当前挑战

MCUBench数据集面临的挑战主要集中在资源受限设备如MCUs上部署YOLO模型的困难。尽管YOLO模型在实时物体检测领域占据主导地位，但由于MCUs的计算资源和内存有限，大多数MCUs仍依赖于性能较差的SSD模型。即使是最小的YOLO变体，如YOLOv5n，其大小在FP32格式下为7.6 MB，量化为8位后约为2 MB，仍然超出了大多数MCUs的内存限制。这些严格的硬件约束促使开发超紧凑的YOLO变体。此外，构建过程中遇到的挑战包括在不同MCU平台上进行模型训练和评估的复杂性，以及在资源受限环境中优化模型性能的困难。

常用场景

经典使用场景

在计算机视觉领域，MCUBench数据集通过评估超过100种基于YOLO的对象检测模型在七个不同微控制器单元（MCUs）上的表现，提供了一个详尽的基准。该数据集特别关注于在资源受限的MCU设备上实现高效的对象检测，通过固定训练管道进行控制比较，收集了包括平均精度、延迟、RAM和Flash使用情况在内的全面性能指标。通过帕累托最优分析，MCUBench展示了现代检测头和训练技术的集成如何使包括YOLOv3在内的多种YOLO架构在平均精度（mAP）和延迟之间实现高效平衡。

解决学术问题

MCUBench数据集解决了在资源极度受限的微控制器单元（MCUs）上部署深度学习对象检测模型的学术难题。传统上，这些模型依赖于高性能硬件如GPU和NPU，但在边缘计算场景中，隐私、低延迟和高能效是关键考虑因素。MCUBench通过提供一个包含多种YOLO模型在不同MCU平台上性能表现的基准，帮助研究人员和开发者理解和优化这些模型在MCU上的表现，从而推动了在低功耗、低成本设备上实现高效对象检测的研究进展。

衍生相关工作

基于MCUBench数据集，许多相关工作得以展开，特别是在微控制器单元（MCUs）上的深度学习模型优化和评估领域。例如，研究者们利用MCUBench的数据进行模型压缩和量化技术的研究，以进一步减少模型大小和提高推理速度。此外，MCUBench还启发了在更复杂数据集如COCO上训练和评估模型的研究，以及探索更适合低成本MCU的简化对象检测任务，如人物检测。这些衍生工作不仅扩展了MCUBench的应用范围，也推动了边缘AI技术的发展。