Intelligent Sight and Sound: A Chronic Cancer Pain Dataset

Intelligent Sight and Sound: A Chronic Cancer Pain Dataset是由美国国立卫生研究院国家癌症研究所创建的，旨在通过机器学习技术分析面部成像、语音和口语，以捕捉和分类癌症疼痛。该数据集包含29名正在进行癌症治疗的患者的数据，包括509个智能手机视频、189,999帧视频、自我报告的情绪和活动疼痛评分。数据集的创建旨在确保模型发现具有临床相关性，特别是在评估和处理癌症患者慢性疼痛方面。该数据集的应用领域主要集中在改善癌症患者的疼痛管理，提高其生活质量，并探索机器学习在医疗领域的应用潜力。

Intelligent Sight and Sound: A Chronic Cancer Pain Dataset was created by the National Cancer Institute (NCI) under the National Institutes of Health (NIH) of the United States. This dataset aims to analyze facial imagery, speech and spontaneous spoken language using machine learning techniques to capture and classify cancer pain. It contains data from 29 patients undergoing cancer treatment, including 509 smartphone-recorded videos, 189,999 video frames, and self-reported emotional and activity-related pain scores. The dataset was developed to ensure that models trained on it exhibit clinical relevance, particularly in the evaluation and management of chronic pain among cancer patients. Its primary application areas focus on improving pain management for cancer patients, enhancing their quality of life, and exploring the application potential of machine learning in the healthcare sector.

搜集汇总

数据集介绍

构建方式

慢性癌症疼痛的评估在临床实践中长期面临挑战，现有面部疼痛数据集多聚焦于急性疼痛或模拟刺激，缺乏针对癌症患者这一特殊群体的真实世界数据。Intelligent Sight and Sound (ISS) 数据集作为首个慢性癌症疼痛多模态数据集，依托美国国立卫生研究院发起的临床实验，通过精心设计的患者队列招募方案构建。研究依据疼痛程度、性别及肤色类型将患者划分为十二个亚组，目前纳入29名成年癌症患者。患者在为期三个月的观察期内，每周通过定制移动应用或网页端完成三次自拍视频提交，每次提交包含基于简明疼痛量表的九项自评疼痛评分、一段中性文本朗读及一段开放式叙事视频，从而在自然居家环境中捕获真实疼痛表达。

特点

该数据集的核心特点在于其临床相关性与多模态融合的深度。与传统依赖外部观察者编码的数据集不同，ISS 摒弃了面部动作编码系统，转而采用患者自报告疼痛评分作为金标准，更贴合慢性癌症疼痛患者情绪内敛、表情平缓的临床表征。数据涵盖509段智能手机视频、189,999帧图像、经人脸检测与关键点提取后的面部影像及168,063组三维面部地标，同时包含音频波形、梅尔频谱图及25维声学特征。数据集在性别与肤色维度上通过分层队列设计力求多样性，弥补了现有疼痛数据集中种族与肤色代表性不足的缺陷，为构建公平且泛化的人工智能模型提供了宝贵资源。

使用方法

ISS 数据集的使用需严格遵循美国国立卫生研究院的数据访问与隐私保护政策，申请者须通过机构审查并完成相关伦理培训方可获取。在模型应用层面，研究团队提供了基于静态图像、面部地标、自评疼痛评分及音频特征的七组基线实验范式，涵盖随机森林、ResNet50及多模态早期融合网络。实验采用十折交叉验证，按患者级别划分训练与测试集以评估模型泛化能力。结果表明，融合面部图像、地标与疼痛评分的多模态网络在二分类疼痛预测任务中表现最优，平均准确率达65.7%。研究者可在此基础上探索时序建模、文本分析或对抗性去偏等进阶方法，进一步挖掘慢性癌症疼痛的自动识别潜力。

背景与挑战

背景概述

慢性癌症疼痛是癌症患者治疗过程中普遍面临的严峻问题，其高发病率严重侵蚀患者的生活质量与心理功能。然而，现有疼痛评估手段多依赖临床医师的主观判断，不仅耗时且难以实现持续监测，导致疼痛常被低估或疏于管理。在此背景下，美国国立卫生研究院国家癌症研究所于2020年启动了“智能视听”（Intelligent Sight and Sound, ISS）临床试验，由Catherine Ordun、Alexandra N. Cha等研究人员主导，旨在构建首个针对慢性癌症疼痛的多模态数据集。该数据集包含29名患者的509段智能手机视频、近19万帧图像以及基于简明疼痛量表的自报告疼痛评分，开创性地将面部图像、语音与文本分析引入癌症疼痛预测领域，为临床疼痛管理的智能化评估提供了全新基准与数据基础。

当前挑战

ISS数据集面临的核心挑战在于慢性癌症疼痛评估的复杂性与构建过程的严苛性。首先，领域问题层面，现有急性疼痛数据集多依赖外部观察者标注的面部动作编码系统，但慢性癌症患者常表现出抑制而平静的面部表情，使得传统疼痛检测方法失效，亟需建立基于患者自报告的预测模型。其次，构建过程中，患者视频在家庭环境中拍摄，受光照不均、口罩遮挡、背景杂乱及设备质量差异等干扰，数据质量参差不齐；同时，患者数量有限（仅29人）且疼痛等级分布失衡，加之部分数据缺失（如患者0009的视频不可用），进一步加剧了模型训练的难度。此外，面部图像涉及敏感的个人身份信息，数据发布需严格遵循伦理审查与隐私保护规范，限制了数据的广泛共享与协作研究。

常用场景

经典使用场景

在慢性癌症疼痛的临床评估中，患者常因复杂情绪和认知偏差而难以准确自述疼痛强度，且传统急性疼痛数据集（如UNBC-McMaster、BioVid）依赖外部观察者标注的面部动作单元，无法捕捉癌症患者特有的内敛性疼痛表达。Intelligent Sight and Sound数据集首次针对慢性癌症疼痛构建，通过智能手机采集患者自发环境下的面部视频、语音叙述及自报疼痛评分，为多模态疼痛识别提供了真实临床场景下的基准数据。其经典使用场景聚焦于利用静态面部图像、语音特征及自报问卷数据，构建分类模型以预测患者自报的疼痛等级，尤其适用于区分无痛与疼痛状态，并探索低、中、重度疼痛的分级预测。

衍生相关工作

该数据集衍生了一系列探索慢性癌症疼痛自动识别的前沿工作。基于其多模态特性，研究者进一步拓展了时序视频模型（如LSTM、Transformer）以捕捉疼痛表达的动态演变，并尝试解耦患者身份特征与疼痛信号的关联，提升模型的泛化能力。部分工作聚焦于利用语音文本分析（如情感极性、语义内容）增强疼痛预测，或开发针对慢性癌症疼痛特异性面部动作单元的自动标注算法。此外，该数据集推动了公平性研究，通过分析不同性别、肤色（Fitzpatrick皮肤类型）亚组的模型性能差异，揭示了现有疼痛识别算法在多样性人群中的偏差，并催生了对抗性去偏置训练等缓解策略，为构建更具包容性的医疗AI系统提供了方法论基础。

数据集最近研究

最新研究方向

在慢性癌症疼痛领域，面部表情与多模态数据融合的疼痛预测研究正成为前沿热点。Intelligent Sight and Sound (ISS) 数据集作为首个聚焦慢性癌症疼痛的临床数据集，突破了传统急性疼痛研究局限于模拟刺激或肌肉骨骼疼痛的局限，填补了该领域缺乏真实临床患者数据的空白。该数据集通过采集癌症患者在自然家庭环境中的智能手机视频、自报疼痛评分及音频等多模态信息，并结合临床医生指导下的研究设计，旨在解决现有疼痛检测模型在临床相关性、患者多样性及伦理隐私方面的不足。早期基线实验表明，融合面部图像、面部地标与自报疼痛评分的多模态模型在疼痛分类上表现最佳，但仍存在显著提升空间。这一研究方向不仅推动了机器学习在慢性疼痛评估中的临床转化，也为个性化疼痛管理、远程医疗监测及减少医疗不平等提供了重要数据基础与伦理框架，尤其关注皮肤类型与性别的多样性，以增强模型的泛化能力与公平性。

相关研究论文

• Intelligent Sight and Sound: A Chronic Cancer Pain Dataset

  美国国立卫生研究院国家癌症研究所 · 2022年