Recipe1M+

Recipe1M+是由麻省理工学院创建的一个大规模结构化食谱数据集，包含超过一百万个烹饪食谱和1300万张食物图片。该数据集是目前公开可用的最大的食谱数据集，支持在多模态数据上训练高容量模型。数据集通过从多个流行烹饪网站抓取食谱和图片，并通过图像搜索引擎扩展图片数据来创建。Recipe1M+不仅适用于烹饪艺术领域，还可应用于社交媒体上的大量食物图片分析，以洞察食物及其制备对公共健康和文化传承的影响。Recipe1M+ is a large-scale structured recipe dataset developed by the Massachusetts Institute of Technology (MIT), containing over one million cooking recipes and 13 million food images. As the largest publicly available recipe dataset to date, it supports training high-capacity models on multimodal data. The dataset is constructed by scraping recipes and images from multiple popular culinary websites, and expanding the image data via image search engines. Beyond the field of culinary arts, Recipe1M+ can also be applied to the analysis of large volumes of food images on social media, to gain insights into the impacts of food and its preparation on public health and cultural heritage.

搜集汇总

数据集介绍

构建方式

Recipe1M+ 数据集的构建过程分为两个阶段。首先，从数十个流行的烹饪网站中抓取了超过一百万份烹饪食谱和八十万张食物图片，并将数据整理成紧凑的 JSON 格式。然后，使用流行的图像搜索引擎，根据食谱标题查询并下载了超过一千万张食物图片。通过清理和删除重复图片，最终构建了包含一百万份结构化烹饪食谱和一千三百万张食物图片的 Recipe1M+ 数据集。

特点

Recipe1M+ 数据集的特点包括：1) 规模庞大，是目前公开可用的最大的烹饪食谱数据集；2) 结构化，包含食谱标题、食材列表、烹饪步骤和与之关联的食物图片；3) 多模态，结合了文本和图像两种模态的数据；4) 包含营养信息，部分食谱提供了食材的重量和单位信息，并与 USDA 营养数据库进行匹配，提供了营养含量数据。

使用方法

Recipe1M+ 数据集可用于多种任务，例如：1) 图像-食谱检索，给定一张食物图片，检索与之匹配的食谱；2) 食谱-图像检索，给定一份食谱，检索与之匹配的食物图片；3) 食谱分析，例如分析食材的种类、烹饪步骤的复杂度等；4) 食物分类，例如将食物图片或食谱分类到不同的类别中；5) 食谱生成，例如根据用户输入的食材和口味，生成新的食谱。

背景与挑战

背景概述

Recipe1M+ 数据集是迄今为止规模最大的结构化食谱数据集，包含超过一百万个烹饪食谱和一千三百万张食品图片。该数据集由麻省理工学院、卡塔尔计算研究所和加泰罗尼亚理工大学的研究人员于 2019 年创建。其主要研究问题是学习跨模态嵌入，将烹饪食谱和食品图片联合嵌入到一个共同的语义空间中，从而实现图像-食谱检索等任务。Recipe1M+ 数据集的发布为研究食品和烹饪领域提供了宝贵的数据资源，推动了该领域的研究进展。

当前挑战

Recipe1M+ 数据集的构建过程中面临着一些挑战。首先，由于食谱和食品图片的复杂性，如何有效地提取和表示食谱中的关键信息是一个挑战。其次，如何将食谱和图片嵌入到一个共同的语义空间中，并保证嵌入的质量和鲁棒性也是一个挑战。此外，由于数据集规模庞大，如何高效地进行数据处理和模型训练也是一个挑战。为了解决这些挑战，研究人员采用了多种技术，包括自然语言处理、深度学习和跨模态学习等。

常用场景

经典使用场景

Recipe1M+ 数据集的经典使用场景是学习跨模态嵌入，以实现烹饪食谱和食物图像之间的关联。通过将食谱中的文本信息（如成分列表和烹饪说明）与食物图像进行联合分析，可以训练模型自动理解食物的制备过程。这种跨模态嵌入技术不仅应用于烹饪艺术领域，还可以用于分析社交媒体上分享的大量食物图像，从而深入了解食物及其制备对公共健康和文化遗产的意义。

解决学术问题

Recipe1M+ 数据集解决了现有食物图像数据集规模较小、缺乏食谱信息的问题。它提供了超过一百万份结构化的烹饪食谱和一千三百万张食物图像，为训练高容量模型提供了丰富的多模态数据。此外，该数据集还引入了 im2recipe 检索任务，该任务利用整个数据集（图像和文本）来解决实际问题，即从视觉上识别菜肴，但无法用语言描述。通过训练神经网络学习食谱和图像的联合嵌入，该数据集在图像-食谱检索任务上取得了令人印象深刻的结果。

衍生相关工作

Recipe1M+ 数据集衍生了许多相关的经典工作。例如，Herranz 等人提出了一个扩展的多模态框架，该框架依赖于食物图像、食谱和营养信息、地理位置和时间、餐厅菜单和食物风格。Min 等人提出了一种多属性主题建模（MATM）方法，该方法将食物属性（如菜系、课程类型、风味或食材类型）纳入其中。他们训练了一个多模态嵌入，学习不同食物属性和相应食物图像之间的共同空间。这些研究进一步推动了食物图像和食谱分析领域的发展。