New York Smells

纽约气味数据集是由哥伦比亚大学等机构联合构建的大规模多模态嗅觉数据集，开创性地在自然环境中同步采集视觉与嗅觉信号。该数据集包含7000组气味-图像配对样本，覆盖3500种室内外物体，采用Cyranose电子鼻采集32维时序嗅觉数据，并配备高分辨率RGB-D图像及环境传感器数据。通过主动嗅探与基线校正流程，在纽约市真实场景中系统化捕获材料与物体的多模态特征。本数据集主要应用于跨模态检索、场景物体识别和细粒度分类任务，致力于解决机器嗅觉在自然环境下感知能力不足的核心难题。The New York Odor Dataset is a large-scale multimodal olfactory dataset jointly constructed by Columbia University and other institutions. It pioneered the synchronous collection of visual and olfactory signals in naturalistic environments. This dataset contains 7,000 odor-image paired samples covering 3,500 indoor and outdoor objects. It uses a Cyranose electronic nose to collect 32-dimensional temporal olfactory data, and is equipped with high-resolution RGB-D images and environmental sensor data. Through active sniffing and baseline correction procedures, it systematically captures multimodal features of materials and objects in real-world scenes across New York City. This dataset is mainly applied to cross-modal retrieval, scene object recognition and fine-grained classification tasks, aiming to address the core challenge of insufficient perceptual capabilities of machine olfaction in natural environments.

原始信息汇总

数据集概述

基本信息

• 数据集名称：New York Smells
• 数据规模：7,000个气味-图像对，来自3,500个不同物体
• 数据采集地点：纽约市
• 数据采集方式：使用安装在Cyranose 320电子鼻上的摄像头和定制3D打印传感器装置，在自然环境中采集配对的气味和视觉信号
• 数据类型：配对视觉与嗅觉信号，同时包含深度、温度、湿度和环境VOC浓度数据

数据集特点

• 包含60个采集会话
• 涵盖多样化的室内外环境
• 是目前已有嗅觉数据集的70倍规模

研究任务

• 跨模态气味到图像检索
• 仅通过气味识别场景、物体和材料
• 草种间的细粒度区分

技术贡献

• 基于原始嗅觉信号训练的模型优于广泛使用的手工特征
• 视觉数据有助于学习嗅觉表示
• 通过对比学习训练通用嗅觉表示

数据获取

• 下载地址：https://smell.cs.columbia.edu/
• 数据大小：27 GB

引用信息

bibtex @article{ozguroglu2025smell, title={New York Smells: A Large Multimodal Dataset for Olfaction}, author={Ozguroglu, Ege and Liang, Junbang and Liu, Ruoshi and Chiquier, Mia and DeTienne, Michael and Qian, Wesley Wei and Horowitz, Alexandra and Owens, Andrew and Vondrick, Carl}, journal={arXiv preprint arXiv:2511.20544}, year={2025} }

搜集汇总

数据集介绍

构建方式

在计算嗅觉研究领域，自然环境下多模态数据的稀缺性长期制约着机器嗅觉感知的发展。为解决这一问题，New York Smells数据集通过定制化传感装置在纽约市真实场景中系统采集嗅觉-视觉配对数据：研究人员使用搭载iPhone摄像头的Cyranose 320电子鼻，在公园、图书馆等60个室内外场景中对3500个物体进行多角度采样。每个样本包含10秒环境基线气味记录与20秒目标物体嗅探数据，同步获取1080p视觉信号与温湿度等辅助传感数据，最终形成7000组时空对齐的多模态样本。

特点

该数据集显著拓展了机器嗅觉的研究边界，其核心特征体现在三方面：规模上涵盖70倍于现有数据集的物体多样性，覆盖41%户外与59%室内环境；模态完整性首次实现野外环境下嗅觉信号与高清视觉数据的天然同步，包含32维传感器时序响应与多视角图像；任务导向性通过视觉语言模型自动标注构建了场景-物体-材料三级语义体系，支持跨模态检索、气味分类等前沿任务验证。

使用方法

为充分发挥该数据集的科研价值，研究者可沿三个方向展开探索：跨模态关联学习方面，通过对比学习框架训练嗅觉-视觉联合嵌入空间，实现气味到图像的语义检索；表征迁移应用中，利用预训练的嗅觉编码器提取特征，结合线性分类器完成场景识别、材料分类等下游任务；细粒度分析场景下，可基于原始传感器时序数据开发新型网络架构，突破传统手工特征在草种鉴别等任务中的性能瓶颈。

背景与挑战

背景概述

嗅觉作为动物感知世界的重要化学感官模态，长期以来在机器感知领域难以实现有效建模。2025年，由哥伦比亚大学、康奈尔大学与Osmo Labs联合发布的New York Smells数据集，首次实现了自然场景下多模态嗅觉与视觉信号的同步采集。该数据集涵盖纽约市公园、图书馆、街道等60个室内外场景，收录了来自3500个物体的7000组嗅觉-图像配对数据，规模达到现有数据集的70倍。通过搭载Cyranose电子鼻与多传感器阵列，该研究突破了传统实验室环境的限制，为探索视觉与嗅觉的跨模态关联提供了关键基础设施。

当前挑战

该数据集致力于解决自然场景嗅觉感知的核心难题：跨模态检索要求模型在噪声干扰下建立嗅觉信号与视觉语义的映射关系；细粒度分类任务需区分化学特征高度相似的物体（如不同草种）。数据构建过程中面临双重挑战：电子鼻采集的原始信号存在传感器漂移与环境干扰，需设计基线采样与信号过滤机制；自然场景中气味浓度的动态变化要求开发新型时序建模方法，以捕捉嗅觉信号的非平稳特性。

常用场景

经典使用场景

在计算嗅觉研究领域，New York Smells数据集为多模态学习提供了重要支撑。该数据集通过在城市环境中同步采集嗅觉信号与视觉图像，构建了7000对嗅觉-视觉样本，覆盖3500种不同物体。其经典应用场景包括跨模态检索任务，即根据嗅觉查询检索对应的视觉图像，这一任务验证了嗅觉与视觉之间的语义关联性。数据集还支持基于嗅觉的场景、物体和材料分类研究，为理解嗅觉信号的语义表征提供了实验基础。

衍生相关工作

该数据集催生了多个重要的衍生研究方向。基于其构建的对比嗅觉-图像预训练框架（COIP）启发了后续的多模态表征学习工作。在方法层面，研究者开发了针对原始嗅觉信号的卷积神经网络和Transformer架构，显著超越了传统手工特征（如气味指纹）的性能。数据集还促进了细粒度嗅觉识别任务的发展，如草种鉴别研究，为生态监测和植物分类提供了新工具。这些工作共同推动了自然场景下机器嗅觉感知的技术进步。

数据集最近研究

最新研究方向

在嗅觉计算领域，New York Smells数据集正推动多模态感知研究的前沿发展。该数据集通过融合视觉与嗅觉信号，开创性地实现了跨模态表征学习，使机器能够从自然场景中提取嗅觉特征并建立与视觉概念的关联。当前研究热点聚焦于嗅觉-图像检索、场景物体识别及细粒度气味分类等任务，突破了传统实验室环境下嗅觉数据的局限性。这一进展不仅为环境监测、食品安全等应用提供了新范式，更通过对比学习框架揭示了视觉监督在嗅觉表征中的潜力，标志着机器嗅觉向真实世界应用迈出了关键一步。

相关研究论文

• 通过

  哥伦比亚大学, 康奈尔大学, Osmo实验室 · 2025年