Chart-to-Experience

Chart-to-Experience是一个包含36张图表的基准数据集，这些图表涵盖了COVID-19、房价和全球变暖三个主题，并经过众包工人的评估，以了解它们在七个体验因素上的影响。数据集包括情感因素（如同理心、兴趣、舒适度）和感知因素（如记忆性、可信度、审美愉悦感和直观性）。数据集的构建过程包括从互联网搜索中收集图表，并招募216名众包工人对每个图表的七个体验因素进行7分制的李克特量表评分。该数据集旨在解决数据可视化对用户体验的感知和情感影响预测问题，为多模态大型语言模型（MLLMs）的评估提供了一个新的基准。Chart-to-Experience is a benchmark dataset comprising 36 charts spanning three topics: COVID-19, housing prices, and global warming. These charts were evaluated by crowdworkers to assess their impacts on seven experience-related factors, which consist of affective factors (empathy, interest, and comfort) and perceptual factors (memorability, credibility, aesthetic pleasure, and intuitiveness). The dataset construction process involves collecting charts from internet searches and recruiting 216 crowdworkers to assign 7-point Likert scale ratings for each of the seven experience factors corresponding to every chart. This dataset is designed to tackle the problem of predicting the perceptual and affective impacts of data visualization on user experience, serving as a novel benchmark for the evaluation of multimodal large language models (MLLMs).

搜集汇总

数据集介绍

构建方式

Chart-to-Experience数据集的构建基于多模态大语言模型（MLLMs）在视觉理解任务中的显著进展，旨在预测图表对感知和情感的影响。研究团队通过互联网搜索选取了36张图表，涵盖三个主题（房价、COVID-19和全球变暖），每主题12张图表，确保图表类型、颜色方案、风格和信息复杂度的多样性。随后，通过众包平台招募了216名参与者，使用7点李克特量表对每张图表在七个体验因素上的影响进行评分，并收集了评分理由。这一过程确保了数据集的多样性和可靠性。

特点

Chart-to-Experience数据集的特点在于其专注于图表的感知和情感影响，涵盖了七个关键因素：记忆性、兴趣、可信度、共情、审美愉悦、直观性和舒适度。数据集的图表类型丰富，从简单的线图到复杂的信息图表，确保了广泛的覆盖范围。此外，数据集不仅包含定量评分，还提供了参与者的解释，为深入研究图表设计对用户体验的影响提供了宝贵资源。数据集的众包设计进一步增强了其代表性和实用性。

使用方法

Chart-to-Experience数据集的使用方法主要包括两个任务：直接预测和成对比较。在直接预测任务中，研究者可以模拟人类评分，评估图表在七个体验因素上的表现。成对比较任务则要求模型比较两张图表在特定因素上的优劣，适合评估模型的相对判断能力。数据集还支持对模型输出与人类评分的相关性分析，帮助识别模型在感知和情感预测中的偏差和局限性。此外，数据集可用于优化多模态大语言模型的提示工程，提升其在图表理解任务中的表现。

背景与挑战

背景概述

Chart-to-Experience数据集由KAIST和Adobe Research的研究团队于2025年提出，旨在评估多模态大语言模型（MLLMs）在预测图表感知与情感影响方面的能力。该数据集包含36张涵盖COVID-19、房价和全球变暖三个主题的图表，通过众包工人对七项体验因素（如共情、兴趣、可信度等）进行评分。数据可视化领域以往主要关注图表的效率和有效性，而该研究首次系统性地将情感和感知因素纳入自动化预测的范畴，填补了该领域缺乏标准化评估工具的空白。其创新性在于将人类主观评价与MLLMs的预测能力进行对比，为可视化设计与AI模型的结合提供了新的研究方向。

当前挑战

该数据集面临的核心挑战包括两方面：其一，在领域问题层面，图表的情感与感知影响具有高度主观性，现有MLLMs难以精准捕捉人类评价的细微差异，表现为预测分数标准差显著低于人类评分；其二，在构建过程中，需平衡图表设计的多样性（如类型、色彩、信息复杂度）与数据标注的一致性，而众包评价中存在4.1%的无效响应（尤其是共情和可信度等抽象维度），需通过旋转展示顺序等方法降低偏差。此外，MLLMs在直接评分任务中表现出系统性偏差（如GPT-4o普遍高评分），但在成对比较任务中对显著差异的图表表现良好，这揭示了模型在细粒度感知上的局限性。

常用场景

经典使用场景

在数据可视化领域，Chart-to-Experience数据集为研究图表对人类感知和情感影响提供了重要基准。该数据集通过众包方式收集了36张图表在七个体验因素上的评分，为多模态大语言模型（MLLMs）的评估提供了真实的人类反馈数据。其经典使用场景包括直接预测图表的体验影响评分以及成对比较图表的体验效果差异，为研究者提供了评估MLLMs在图表理解任务中表现的工具。

实际应用

在实际应用中，Chart-to-Experience数据集可用于优化数据可视化设计，帮助设计师创建更具情感吸引力和感知效果的图表。例如，新闻媒体可以利用该数据集评估信息图表的信任度和记忆度，从而提升读者 engagement。此外，市场研究人员可以通过分析图表的情感影响，优化广告和数据报告的视觉效果，以更好地传达信息并引发目标受众的共鸣。

衍生相关工作

Chart-to-Experience数据集催生了一系列相关研究，特别是在MLLMs评估和图表理解领域。例如，基于该数据集的研究探索了如何通过提示工程（如Chain-of-Thought）提升MLLMs在图表体验预测中的表现。此外，该数据集还启发了对图表情感影响因素的深入分析，如颜色、复杂度和注释等视觉元素如何影响人类的情感和感知反应。这些衍生工作进一步推动了数据可视化和多模态AI研究的交叉发展。