BLOCKIES

BLOCKIES数据集是由比勒费尔德大学认知交互技术中心（CITEC）的David S. Johnson等人提出的参数化方法生成的模拟诊断任务数据集。该数据集能够控制用于训练实际世界模型的数据特征和偏差，旨在为视觉决策任务中的高风险人机协作评估提供大规模、在线的评价框架。数据集通过Blender生成虚拟生物体Blockies的X射线图像，并根据症状 severity 分配不同的特征分布。BLOCKIES能够支持创建用于特性诊断任务的自定义数据集，并包含用于生成诊断建议的真实世界黑盒模型。该数据集用于评估在不同风险条件下的人机协作方法，如XAI，以提高高风险环境中的人机协作效率。The BLOCKIES dataset is a simulated diagnostic task dataset generated via a parametric approach proposed by David S. Johnson et al. from the Center for Cognitive Interaction Technology (CITEC), Bielefeld University. This dataset enables control over the data features and biases used for training real-world models, and aims to provide a large-scale, online evaluation framework for high-stakes human-computer collaboration assessment in visual decision-making tasks. The dataset generates X-ray images of virtual organisms named Blockies using Blender, and assigns distinct feature distributions based on symptom severity. BLOCKIES supports the creation of custom datasets for targeted diagnostic tasks, and includes real-world black-box models for generating diagnostic recommendations. This dataset is utilized to evaluate human-computer collaboration methods such as XAI under varying risk conditions, so as to enhance the efficiency of human-computer collaboration in high-stakes environments.

搜集汇总

数据集介绍

构建方式

BLOCKIES数据集采用了一种参数化的方法来生成模拟诊断任务的数据集。研究人员可以通过控制数据中的特征和偏差来训练现实世界的模型。这些任务被设计得易于学习但难以精通，以便非专家也能参与。该框架还结合了故事讲述和金钱激励来操纵对任务风险的认识。

特点

BLOCKIES数据集的特点在于其参数化的生成方式，这为研究人员提供了对诊断样本属性的控制，以便设计定制决策任务并包括不同类型的偏差，以评估旨在提高人机协作的方法，例如可解释人工智能(XAI)。此外，BLOCKIES允许使用真实的黑盒模型来生成诊断建议。

使用方法

使用BLOCKIES数据集的方法包括生成用于模型训练、验证和测试的数据集，以及用于评估范式的实验数据集。参与者通过评估Blockies的X光片来诊断一种称为Osteocuboid退化(OCDEGEN)的情况。研究人员可以通过改变在回合中提供的AI支持类型来评估不同的人机协作方法。故事讲述和基于表现的财务激励被用来控制对诊断任务的风险的认识。

背景与挑战

背景概述

BLOCKIES数据集的研究背景主要聚焦于高利害情境下人机协作的健康信任评估。该数据集由David S. Johnson领导的认知交互技术中心（CITEC）于2025年提出，旨在解决当前人机协作研究中存在的挑战。随着人工智能在决策制定中的应用日益广泛，特别是在医学、情感计算等高利害领域，人们对于如何提高人机协作效率的关注度日益增加。然而，现有研究显示，人机协作在提高决策制定方面的益处尚未完全实现。BLOCKIES数据集的提出，为人机协作研究提供了一个新的视角和方法，即通过模拟诊断任务来评估高利害情境下的人机协作，从而提高研究的可重复性和可推广性。

当前挑战

BLOCKIES数据集面临的挑战主要包括两个方面。首先，如何设计一个能够模拟真实世界诊断任务的虚拟环境，使非专家用户也能够参与到研究中来。其次，如何通过调整任务难度和奖励机制来控制参与者对任务的感知风险，从而更好地评估高利害情境下的人机协作。为了解决这些挑战，BLOCKIES数据集采用了参数化的方法来生成数据集，并允许研究人员控制数据中的特征和偏差。此外，BLOCKIES数据集还引入了故事讲述和金钱激励，以操纵参与者对任务的感知风险。通过这些方法，BLOCKIES数据集为人机协作研究提供了一个可扩展的评估框架，有助于更好地评估高利害情境下的人机协作的有效性。

常用场景

经典使用场景

BLOCKIES数据集被广泛应用于模拟高 stakes场景下的人类-人工智能协作。该数据集通过生成具有可控特征和偏见的模拟诊断任务数据集，为研究者提供了一个评估和改进人类-人工智能协作方法的平台。这些任务设计得易于学习但难以精通，使得非专家也能参与其中。此外，该数据集还通过故事讲述和金钱激励来操纵参与者对任务风险的认识，从而进一步研究风险感知对决策的影响。

解决学术问题

BLOCKIES数据集解决了当前评估方法受限于有限的公开数据集和对代理任务的依赖的问题。该数据集为研究者提供了一个可扩展的应用基础框架，用于大规模、在线评估视觉决策任务。通过模拟现实决策场景，该框架简化了应用基础评估的物流，使得研究更加可扩展、普遍和可访问。

衍生相关工作

BLOCKIES数据集的衍生相关工作包括开发更先进的模拟诊断任务数据集，以及设计更复杂的评估框架，以更好地评估人类-人工智能协作方法。此外，该数据集还可以用于开发新的XAI方法，以提高人工智能的透明度和可信度。