Food101Personal, VFN-Personal

本研究介绍了两个个性化食品图像分类的基准数据集：Food101Personal和VFN-Personal。Food101Personal基于真实世界参与者的日常饮食模式调查创建，包含20个模式，每个模式300张图像，平均44个食品类别。VFN-Personal则基于一项饮食研究，包含26个模式，每个模式300张图像，平均29个食品类别。这两个数据集通过模拟长期个性化饮食模式来增强其代表性。数据集的应用领域是解决个性化食品分类问题，通过训练深度神经网络以反映每个个体的饮食模式，提高食品分类的准确性。This study introduces two benchmark datasets for personalized food image classification: Food101Personal and VFN-Personal. Food101Personal is developed based on surveys of daily dietary patterns from real-world participants, consisting of 20 dietary patterns, with 300 images per pattern and an average of 44 food categories per pattern. VFN-Personal, on the other hand, is based on a dietary study, containing 26 dietary patterns, 300 images per pattern, and an average of 29 food categories per pattern. Both datasets enhance their representativeness by simulating long-term personalized dietary patterns. These datasets are applied to solve personalized food classification tasks, where deep neural networks are trained to reflect the dietary patterns of individual users, thereby improving the accuracy of food classification.

搜集汇总

数据集介绍

构建方式

在个性化饮食评估领域，现有数据集难以反映个体随时间变化的真实饮食模式。为填补这一空白，Food101-Personal与VFN-Personal数据集应运而生。前者基于Food-101数据集，通过在线调查收集20名参与者为期一周的食物消费模式，每份模式包含超过20条记录；后者则源自VFN数据集，从70余名18至65岁健康参与者的三天饮食研究中筛选出26份有效短期模式。利用改进的马尔可夫链方法，这些短期模式被扩展为包含300张图像的长期序列，其中Food101-Personal平均涵盖44个食物类别，VFN-Personal则平均涵盖29个类别。此外，通过高斯分布模型在同类图像中引入类内差异，增强了数据集的真实性与代表性。

特点

这两个数据集的核心特点在于其个性化与动态性。与静态的通用食物数据集不同，它们捕捉了食物消费模式中的时序信息，即图像按时间顺序出现，反映了个人饮食的演变过程。每条消费模式均呈现不平衡的食物分布、多样的烹饪风格以及随时间涌现的未见食物类别，真实模拟了现实场景中的分类挑战。数据集还内置了类内差异，使得同一类别的食物图像在视觉上存在多样性，进一步考验模型的泛化能力。这种设计使得Food101-Personal与VFN-Personal成为评估个性化食物分类算法性能的理想基准。

使用方法

使用这两个数据集时，需遵循特定的在线评估协议。每个模式中的图像按时间步依次处理，模型在每一步先对当前图像进行分类，随后利用该图像进行更新，且训练轮次限定为一轮。性能通过累积平均准确率衡量，即从起始到当前时间步的正确分类比例。研究者可采用基于自监督学习的特征提取与滑动窗口技术，以捕捉多图像时序信息。具体而言，随机采样与双实例学习用于构建输入批次，组归一化层替代批归一化以适应小批量场景，而滑动窗口则通过拼接历史图像特征来增强分类决策。该方法在公开的基准协议下，显著提升了分类精度。

背景与挑战

背景概述

食物图像分类是基于图像的膳食评估中的关键步骤，旨在从食物图像中自动分析营养成分。然而，现有方法多依赖于静态的通用食物数据集进行深度神经网络训练，这些数据集无法反映真实世界中个体饮食模式的动态变化，即食物图像随时间顺序出现，记录个人消费的演变过程。为填补这一空白，普渡大学的Xinyue Pan、Jiangpeng He和Fengqing Zhu于2023年提出了Food101-Personal和VFN-Personal两个基准数据集。前者基于真实世界参与者的日常饮食模式调查创建，后者则源于一项膳食研究。这些数据集通过收集短期食物消费模式并利用改进的马尔可夫链模拟长期模式，旨在推动个性化食物图像分类的研究，提升针对个体独特饮食进程的分类准确性。该工作对膳食评估领域具有重要影响力，为个性化分类器的开发提供了标准化基准。

当前挑战

个性化食物图像分类面临多重挑战。首先，领域问题层面，现有方法难以处理真实场景中食物图像序列呈现的不平衡分布、多样烹饪风格及随时间出现的新食物类别，传统静态数据集无法捕捉个体饮食模式的动态性。其次，数据集构建过程中，收集不同个体的长期食物消费模式极为困难，导致公开可用的基准数据集匮乏。此外，现有个性化分类方法存在特征提取器固定、无法动态更新以及缺乏对时间上下文信息探索的局限，例如仅考虑短期食物出现频率而忽略饮食变化的时间序列特征。构建过程中还需应对类内差异、类别不平衡以及小批量学习等问题，这些都增加了数据模拟和模型设计的复杂性。

常用场景

经典使用场景

在图像化膳食评估的广阔领域中，食物图像分类是自动营养分析的核心基石。然而，传统方法依赖于静态的通用数据集，忽视了真实世界中食物消费模式随时间动态演变的特性。Food101-Personal与VFN-Personal数据集应运而生，它们通过采集个体短期膳食模式并利用改进的马尔可夫链模拟长期消费序列，构建了包含时序上下文信息的个性化食物图像基准。这些数据集最经典的使用场景在于训练和评估个性化食物分类器，即模型需按时间顺序依次处理每个个体的食物图像流，在在线学习框架下逐步适应其独特的饮食轨迹，从而实现对未见食物类别和分布不均数据的精准识别。

解决学术问题

该数据集精准回应了当前食物图像分类研究中两个核心的学术难题：一是缺乏反映个体真实饮食时序动态的公开基准，二是现有方法无法在持续到来的图像流中动态更新特征提取器并利用时序上下文。Food101-Personal与VFN-Personal的提出，首次为个性化分类提供了标准化的评估协议，使研究者得以量化模型在非独立同分布、类别长尾分布及新类涌现场景下的表现。其意义在于推动了从静态分类到持续学习的范式转变，为构建真正适应个人饮食习惯的智能膳食监测系统奠定了实验基础，并揭示了自监督学习与时序滑动窗口技术在提升在线分类鲁棒性方面的潜力。

衍生相关工作

围绕这两个数据集，学界已衍生出多项具有影响力的经典工作。首先，研究者提出了结合自监督学习与滑动窗口的个性化分类框架，通过随机采样和双实例学习优化小批量特征提取，同时利用窗口拼接捕捉多帧时序信息，在Food101-Personal与VFN-Personal上分别提升了2.6%和1%的准确率。后续工作进一步探索了跨个体模式共享的联邦学习策略，通过共享食物记录增强数据稀疏场景下的泛化能力。此外，基于这些数据集，还衍生出针对长尾分布与类别增量学习的持续学习方法，以及利用图神经网络建模食物消费时序依赖的创新模型，推动了个性化膳食评估领域从浅层统计向深度时序推理的演进。