DeSIQ

DeSIQ是一个用于社会智能理解的无偏见、更具挑战性的多模态问答基准数据集。该数据集由莫纳什大学的信息技术学院创建，通过对Social-IQ数据集进行扰动处理，旨在减少原数据集中的偏见。DeSIQ包含约21306条数据，每条数据包含视频、问题和多个选择答案，用于评估机器学习模型在复杂社会交互中的理解和推理能力。数据集的创建过程涉及对原数据集的答案选项进行替换，以确保答案的多样性和挑战性。DeSIQ的应用领域主要集中在社会智能研究，旨在解决现有AI系统在理解人类表达、意图和交互方面的局限性。DeSIQ is an unbiased, more challenging multimodal question answering benchmark dataset for social intelligence understanding. It was developed by the School of Information Technology at Monash University via perturbing the original Social-IQ dataset, with the goal of mitigating biases inherent in the original dataset. DeSIQ contains approximately 21,306 instances, each of which comprises a video, a natural language question and multiple-choice answer options, and is used to evaluate the capacities of machine learning models for understanding and reasoning in complex social interactions. The dataset construction process involves replacing the answer options from the original Social-IQ dataset to ensure the diversity and challenging nature of the answer choices. The main application areas of DeSIQ are focused on social intelligence research, aiming to address the limitations of existing AI systems in comprehending human expressions, intentions and interpersonal interactions.

搜集汇总

数据集介绍

构建方式

DeSIQ的构建旨在消除原始Social-IQ数据集中存在的显著偏差。研究者通过系统性分析发现，Social-IQ中正确与错误答案选项的表征易于区分，模型无需上下文或问题即可达到完美性能。为此，他们采用了一种简洁而有效的扰动策略：将每个三元组（问题、正确答案、错误答案）中的错误答案，替换为从其他视频中随机抽取的正确答案，从而生成去偏版本DeSIQd；若替换答案来自同一视频，则得到更具挑战性的DeSIQs。该方法直接作用于数据层面，有效打破了正确答案与错误答案之间的虚假关联。

特点

DeSIQ数据集的核心特点在于其无偏性与挑战性。实验表明，在仅提供答案选项的情况下，T5-small等中等规模语言模型在DeSIQ上的性能骤降至接近随机水平（如A2配置下约50%），而在原始Social-IQ上则为100%。该数据集迫使模型必须依赖问题、视频等多模态信息进行推理，而非利用答案本身的统计捷径。此外，DeSIQs因替换答案源自同一视频，问题与答案间存在更高语义重叠，进一步提升了难度，成为衡量社会智能理解的更严苛基准。

使用方法

DeSIQ的使用遵循多模态多选题问答范式。研究者设计了统一的模型架构，将问题、答案选项、视频转录及视觉特征分别编码后投影至同一维度并拼接，送入T5-small等骨干网络进行二选一或四选一分类。实验建议优先采用包含问题的输入组合（如q+a+t），并可通过注入常识知识（如基于Social Chemistry 101预训练）提升性能。对于包含原始音视频的DeSIQ-2.0版本，还可利用Wav2Vec 2.0和ViT提取音频与视觉特征，实现更丰富的多模态融合。

背景与挑战

背景概述

社会智能（Social Intelligence）作为社会科学与心理学领域长期关注的核心议题，旨在理解与驾驭复杂人际情境中的人类意图与互动。近年来，随着自然语言处理与计算机视觉领域的交叉融合，社会智能的自动化评估逐渐成为研究前沿。2019年，由Zadeh等人提出的Social-IQ数据集应运而生，该基准通过多模态视频片段与多项选择问答形式，系统评估人工智能模型对社会互动的理解能力。然而，来自莫纳什大学信息技术学院的Guo、Li与Haffari团队在深入分析后发现，Social-IQ中蕴含显著的数据偏差，使得即便是规模较小的语言模型（如T5-small）亦可利用虚假相关性达到100%的准确率，严重削弱了该基准对社会智能真实评估的有效性。为此，研究团队于2023年构建了DeSIQ（Debiased Social Intelligence Queries）数据集，通过置换错误选项为其他问题的正确选项，有效消除原生偏差，为领域提供了更为公正且富有挑战性的评估基准。

当前挑战

DeSIQ数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，社会智能理解要求模型超越对物体与动作的浅层感知，深入剖析人类行为背后的意图与情感，这对当前人工智能系统构成了本质性难题。Social-IQ中原有的偏差使得模型无需真正理解社会情境即可作答，而DeSIQ通过去偏处理迫使模型必须依赖多模态信息（视频、音频、文本）进行推理，显著提升了任务难度。其次，在数据集构建过程中，研究团队面临双重挑战：一是系统识别并量化Social-IQ中隐藏的偏差，为此提出了六种扰动方法（如NCAQ、RIWI、RIWA等）以揭示答案选项间的可分离性；二是设计有效的去偏策略，通过保留问题与正确选项的同时，将错误选项替换为来自同一或不同视频的其他正确选项，从而构建出DeSIQd与DeSIQs两个难度递增的子集，确保新基准在消除捷径学习的同时保留对社会智能的深度评测能力。

常用场景

经典使用场景

DeSIQ数据集旨在评估人工智能系统的社会智能理解能力，其经典使用场景聚焦于多模态情境下的社会互动推理。该数据集以视频片段为核心，结合转录文本、音频及视觉特征，构建了多项选择问答任务，要求模型深入理解人类意图、情感与社交动态。研究者通过对比正确与干扰选项，检验模型在复杂社交情境中的判别能力，尤其关注其能否超越表面语义关联，捕捉隐含的社会规范与情感线索。

解决学术问题

DeSIQ数据集有效解决了Social-IQ基准中存在的严重偏差问题，即模型无需理解问题或视频内容，仅凭答案选项的统计特征即可达到完美性能。通过扰动方法替换错误选项为其他问题的正确选项，DeSIQ消除了这种虚假相关性，迫使模型必须依赖多模态上下文进行推理。这揭示了社会智能评估中数据偏差的隐蔽性，推动了更公正、更具挑战性的基准构建，为研究人类社交认知的计算模型提供了可靠测试平台。

衍生相关工作

DeSIQ数据集衍生了一系列重要工作，包括基于常识知识蒸馏的T5-smallDelphi模型，其通过注入社会化学101等语料库的伦理规范，显著提升了社交推理性能。此外，研究者探索了多模态融合架构，如结合Vision Transformer与Wav2Vec 2.0处理原始视频与音频，以增强对非语言线索的感知。这些工作不仅验证了DeSIQ的挑战性，还推动了社会智能研究中偏差缓解、常识推理与多模态学习的交叉发展。