weikaih/TaskMeAnything-v1-imageqa-2024

--- dataset_info: features: - name: id dtype: string - name: question dtype: string - name: options list: string - name: answer dtype: string - name: task_plan dtype: string - name: image dtype: image splits: - name: 3d_how_many num_bytes: 575911163.0 num_examples: 390 - name: 3d_what num_bytes: 561399432.0 num_examples: 381 - name: 3d_where num_bytes: 576850800.0 num_examples: 393 - name: 3d_what_attribute num_bytes: 557522068.0 num_examples: 384 - name: 3d_where_attribute num_bytes: 500663969.0 num_examples: 339 - name: 3d_what_distance num_bytes: 472682951.0 num_examples: 333 - name: 3d_where_distance num_bytes: 578380467.0 num_examples: 405 - name: 3d_what_attribute_distance num_bytes: 585414362.0 num_examples: 411 - name: 3d_what_size num_bytes: 593697129.0 num_examples: 399 - name: 3d_where_size num_bytes: 571493742.0 num_examples: 393 - name: 3d_what_attribute_size num_bytes: 587666857.0 num_examples: 402 - name: 2d_how_many num_bytes: 24664743.0 num_examples: 369 - name: 2d_what num_bytes: 27434869.0 num_examples: 402 - name: 2d_where num_bytes: 28393034.0 num_examples: 417 - name: 2d_what_attribute num_bytes: 26010449.0 num_examples: 378 - name: 2d_where_attribute num_bytes: 28598102.0 num_examples: 378 - name: sg_what_object num_bytes: 14410159.0 num_examples: 375 - name: sg_what_attribute num_bytes: 14122339.0 num_examples: 366 - name: sg_what_relation num_bytes: 16794988.0 num_examples: 378 download_size: 6308600685 dataset_size: 6342111623.0 configs: - config_name: default data_files: - split: 3d_how_many path: data/3d_how_many-* - split: 3d_what path: data/3d_what-* - split: 3d_where path: data/3d_where-* - split: 3d_what_attribute path: data/3d_what_attribute-* - split: 3d_where_attribute path: data/3d_where_attribute-* - split: 3d_what_distance path: data/3d_what_distance-* - split: 3d_where_distance path: data/3d_where_distance-* - split: 3d_what_attribute_distance path: data/3d_what_attribute_distance-* - split: 3d_what_size path: data/3d_what_size-* - split: 3d_where_size path: data/3d_where_size-* - split: 3d_what_attribute_size path: data/3d_what_attribute_size-* - split: 2d_how_many path: data/2d_how_many-* - split: 2d_what path: data/2d_what-* - split: 2d_where path: data/2d_where-* - split: 2d_what_attribute path: data/2d_what_attribute-* - split: 2d_where_attribute path: data/2d_where_attribute-* - split: sg_what_object path: data/sg_what_object-* - split: sg_what_attribute path: data/sg_what_attribute-* - split: sg_what_relation path: data/sg_what_relation-* ---数据集信息： ### 数据特征 1. `id`：字符串类型 2. `question`：字符串类型 3. `options`：字符串列表 4. `answer`：字符串类型 5. `task_plan`：字符串类型 6. `image`：图像类型 ### 数据集划分 本数据集包含以下划分子集，各子集的占用字节数与样本量如下： 1. 3d_how_many：占用575,911,163字节，共390个样本 2. 3d_what：占用561,399,432字节，共381个样本 3. 3d_where：占用576,850,800字节，共393个样本 4. 3d_what_attribute：占用557,522,068字节，共384个样本 5. 3d_where_attribute：占用500,663,969字节，共339个样本 6. 3d_what_distance：占用472,682,951字节，共333个样本 7. 3d_where_distance：占用578,380,467字节，共405个样本 8. 3d_what_attribute_distance：占用585,414,362字节，共411个样本 9. 3d_what_size：占用593,697,129字节，共399个样本 10. 3d_where_size：占用571,493,742字节，共393个样本 11. 3d_what_attribute_size：占用587,666,857字节，共402个样本 12. 2d_how_many：占用24,664,743字节，共369个样本 13. 2d_what：占用27,434,869字节，共402个样本 14. 2d_where：占用28,393,034字节，共417个样本 15. 2d_what_attribute：占用26,010,449字节，共378个样本 16. 2d_where_attribute：占用28,598,102字节，共378个样本 17. sg_what_object：占用14,410,159字节，共375个样本 18. sg_what_attribute：占用14,122,339字节，共366个样本 19. sg_what_relation：占用16,794,988字节，共378个样本 本次数据集的下载总大小为6,308,600,685字节，解压后总数据集大小为6,342,111,623字节。 ### 数据集配置 本数据集默认配置（default）下的数据文件路径如下： - 3d_how_many：对应`data/3d_how_many-*` - 3d_what：对应`data/3d_what-*` - 3d_where：对应`data/3d_where-*` - 3d_what_attribute：对应`data/3d_what_attribute-*` - 3d_where_attribute：对应`data/3d_where_attribute-*` - 3d_what_distance：对应`data/3d_what_distance-*` - 3d_where_distance：对应`data/3d_where_distance-*` - 3d_what_attribute_distance：对应`data/3d_what_attribute_distance-*` - 3d_what_size：对应`data/3d_what_size-*` - 3d_where_size：对应`data/3d_where_size-*` - 3d_what_attribute_size：对应`data/3d_what_attribute_size-*` - 2d_how_many：对应`data/2d_how_many-*` - 2d_what：对应`data/2d_what-*` - 2d_where：对应`data/2d_where-*` - 2d_what_attribute：对应`data/2d_what_attribute-*` - 2d_where_attribute：对应`data/2d_where_attribute-*` - sg_what_object：对应`data/sg_what_object-*` - sg_what_attribute：对应`data/sg_what_attribute-*` - sg_what_relation：对应`data/sg_what_relation-*`

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• question: 字符串类型
• options: 字符串列表
• answer: 字符串类型
• task_plan: 字符串类型
• image: 图像类型

数据集分割

• 3d_how_many: 390个样本，575911163.0字节
• 3d_what: 381个样本，561399432.0字节
• 3d_where: 393个样本，576850800.0字节
• 3d_what_attribute: 384个样本，557522068.0字节
• 3d_where_attribute: 339个样本，500663969.0字节
• 3d_what_distance: 333个样本，472682951.0字节
• 3d_where_distance: 405个样本，578380467.0字节
• 3d_what_attribute_distance: 411个样本，585414362.0字节
• 3d_what_size: 399个样本，593697129.0字节
• 3d_where_size: 393个样本，571493742.0字节
• 3d_what_attribute_size: 402个样本，587666857.0字节
• 2d_how_many: 369个样本，24664743.0字节
• 2d_what: 402个样本，27434869.0字节
• 2d_where: 417个样本，28393034.0字节
• 2d_what_attribute: 378个样本，26010449.0字节
• 2d_where_attribute: 378个样本，28598102.0字节
• sg_what_object: 375个样本，14410159.0字节
• sg_what_attribute: 366个样本，14122339.0字节
• sg_what_relation: 378个样本，16794988.0字节

数据集大小

• 下载大小: 6308600685字节
• 数据集大小: 6342111623.0字节

配置

• config_name: default
  • data_files:
    • 3d_how_many: data/3d_how_many-*
    • 3d_what: data/3d_what-*
    • 3d_where: data/3d_where-*
    • 3d_what_attribute: data/3d_what_attribute-*
    • 3d_where_attribute: data/3d_where_attribute-*
    • 3d_what_distance: data/3d_what_distance-*
    • 3d_where_distance: data/3d_where_distance-*
    • 3d_what_attribute_distance: data/3d_what_attribute_distance-*
    • 3d_what_size: data/3d_what_size-*
    • 3d_where_size: data/3d_where_size-*
    • 3d_what_attribute_size: data/3d_what_attribute_size-*
    • 2d_how_many: data/2d_how_many-*
    • 2d_what: data/2d_what-*
    • 2d_where: data/2d_where-*
    • 2d_what_attribute: data/2d_what_attribute-*
    • 2d_where_attribute: data/2d_where_attribute-*
    • sg_what_object: data/sg_what_object-*
    • sg_what_attribute: data/sg_what_attribute-*
    • sg_what_relation: data/sg_what_relation-*

搜集汇总

数据集介绍

构建方式

在视觉语言模型飞速发展的背景下，精准评估模型短板成为领域内的核心诉求。TaskMeAnything-v1-imageqa-2024数据集应运而生，其构建基于TaskMeAnything Top-K查询算法，该算法能够自动识别并生成当前主流多模态大语言模型（MLMs）难以应对的视觉问答任务。数据集涵盖2D、3D及真实图像三大场景，共计19个子集，每个子集包含600余道题目，分别对应不同的任务生成器。每条数据均包含图像、问题、选项、答案及对应的任务计划，结构严谨，旨在系统性地暴露模型在特定视觉推理维度上的不足。

特点

该数据集的核心特色在于其自动化的挑战性任务生成机制，突破了传统人工构建基准的局限。通过算法筛选，数据集聚焦于超过12种流行MLMs的共同薄弱环节，确保了评估的针对性与前沿性。数据规模方面，包含3,279个2D问题、7,095个3D问题以及1,896个真实图像问题，形成了多层次、多维度的评测体系。此外，每个子集按任务类型精细划分，如数量、属性、距离、大小等推理维度，为深入剖析模型能力提供了结构化视角。

使用方法

使用者可通过Hugging Face Datasets库便捷加载该数据集。具体而言，调用datasets.load_dataset('weikaih/TaskMeAnything-v1-imageqa-2024', split='任务生成器名称')即可获取指定子集，其中split参数需替换为具体的任务生成器标识，例如'2d_how_many'。数据集仅用于模型评估与基准测试，不应用于训练，以保持其作为挑战性评测工具的有效性。加载后，每条记录中的图像、问题与选项可直接输入至多模态模型，并通过与标准答案比对计算准确率，从而量化模型在特定视觉推理任务上的表现。

背景与挑战

背景概述

在视觉语言模型（VLM）迅猛发展的当下，如何系统性地揭示其能力边界成为关键议题。TaskMeAnything-v1-imageqa-2024由华盛顿大学Jieyu Zhang团队于2024年创建，旨在通过自动化算法生成当前最先进多模态大模型（MLM）难以应对的图像问答任务。该基准涵盖3,279个二维问题、7,095个三维问题及1,896个真实图像问题，覆盖19个细分任务生成器，如物体计数、属性识别、空间关系推断等。其核心研究问题在于突破传统人工标注的局限，利用Top-K查询策略动态挖掘模型薄弱环节，为评估MLM的感知与推理能力提供系统性工具。该数据集已对超过12种主流MLM进行评测，揭示了不同模型在复杂视觉场景中的表现差异，对推动多模态智能体评估范式的演进具有重要影响力。

当前挑战

该数据集面临的核心挑战在于其所解决的领域问题：现有MLM在细粒度视觉推理任务中普遍存在性能瓶颈，尤其在三维空间理解、属性距离关联等复合型问题上表现脆弱。具体而言，模型难以同时处理多维度信息，例如在'what_attribute_distance'任务中需联合识别物体、属性与距离关系，暴露了当前架构在跨模态对齐上的不足。构建过程中，挑战源于自动化任务生成的可靠性——算法需确保生成的问题既具有挑战性又避免歧义，同时平衡20个任务子集间的难度分布。此外，数据多样性要求合成图像与真实场景的语义一致性，而12,270个样本的标注质量依赖于任务计划（task_plan）的精确性，这对自动化管线的鲁棒性提出了严苛要求。

常用场景

经典使用场景

在视觉与语言交汇的研究疆域，TaskMeAnything-v1-imageqa-2024 以其独特的自动化困难任务发现机制，成为衡量多模态大模型（MLM）能力的试金石。该数据集通过 TaskMeAnything 算法，从超过12种主流MLM的薄弱环节中自动筛选出最具挑战性的图像问答对，涵盖2D、3D及真实场景图像，总计逾12,000道题目。经典使用场景聚焦于评估模型在计数、空间关系、属性识别与尺度判断等细粒度任务上的推理极限，为研究者提供了一面映照当前MLM能力边界的明镜。

衍生相关工作

该数据集催生了一系列旨在提升多模态模型视觉推理能力的经典工作。研究者基于其揭示的模型短板，提出了如自适应困难样本采样策略、多视角一致性训练框架以及融合3D几何先验的视觉语言模型等创新方法。此外，该数据集还激发了关于自动化基准构建方法论的深入探讨，衍生出更多基于对抗性搜索或模型协作的任务生成范式，推动整个领域从静态评测向动态、自适应评估体系的演进。

数据集最近研究

最新研究方向

TaskMeAnything-v1-imageqa-2024数据集聚焦于当前多模态大模型在视觉问答任务中的局限性评估，通过自动化生成的挑战性查询，系统性地揭示前沿模型在三维空间理解、复杂属性推理及场景图关系解析等维度的能力短板。该基准涵盖近1.2万道精心设计的图像问题，涵盖2D/3D空间计数、方位判别、属性关联及尺寸比较等细粒度任务，直指当前多模态大模型在具身智能与物理世界交互中的核心瓶颈。其创新性在于采用对抗性样本自动生成策略，精准定位模型薄弱环节，推动了从‘模型在标准测试集上刷分’向‘自适应评估模型真实认知边界’的研究范式转变。这一工作与具身智能、自动驾驶等热点领域紧密耦合，为构建更鲁棒、更可信的视觉-语言系统提供了关键评估工具，对推动多模态模型从感知走向认知具有里程碑意义。