WiseEdit-Benchmark
收藏资源简介：
WiseEdit是一个知识密集型的基准数据集，旨在评估认知和创造力指导下的图像编辑能力。它将基于指令的编辑分解为三个阶段：Awareness（感知）、Interpretation（解释）和Imagination（想象），并提供了1,220个双语测试案例以及基于GPT-4o的自动评估流程。数据集围绕任务深度和知识广度构建，包括四种任务类型和三种知识类型，强调文化常识、自然科学和时空逻辑的编辑要求。评估协议采用视觉语言模型（VLM）为基础的自动评估流程，包括多个指标和综合评分方法。
WiseEdit is a knowledge-intensive benchmark dataset developed to evaluate image editing capabilities guided by cognitive and creative principles. It decomposes instruction-based image editing into three stages: Awareness, Interpretation, and Imagination, and includes 1,220 bilingual test cases as well as an automatic evaluation pipeline based on GPT-4o. Constructed around task depth and knowledge breadth, the dataset covers four task types and three knowledge categories, with an emphasis on editing requirements involving cultural common sense, natural sciences, and spatio-temporal logic. The evaluation protocol adopts a vision-language model (VLM)-based automatic assessment pipeline, which incorporates multiple metrics and a comprehensive scoring approach.
WiseEdit-Benchmark 数据集概述
数据集基本信息
- 数据集名称: WiseEdit (WiseEdit-Benchmark)
- 托管地址: https://huggingface.co/datasets/123123chen/WiseEdit-Benchmark
- 许可协议: Apache-2.0
- 任务类别: 图像到图像
- 主要语言: 英语
- 数据规模: 1K < n < 10K
核心介绍
WiseEdit 是一个用于评估认知与创造力驱动的图像编辑的知识密集型基准。它将基于指令的编辑分解为三个阶段：感知、解释和想象，并提供了1,220个双语测试案例以及一个基于GPT-4o的自动评估流程。通过该数据集，研究者对22个最先进的图像编辑模型进行了基准测试，揭示了它们在基于知识的推理和组合创造力方面的明显局限性。
数据集设计概览
WiseEdit 围绕任务深度和知识广度构建。
任务深度 – 四种任务类型
- 感知任务 – 关注编辑何处；不提供明确的空间坐标；需要比较推理、参考匹配或细粒度感知。
- 解释任务 – 关注感知层面的如何编辑；指令通常编码隐含意图，需要世界知识。
- 想象任务 – 关注以主体驱动的创造性生成；需要复杂的组合和身份保持转换。
- WiseEdit-Complex – 结合感知、解释和想象；涉及多图像、多步骤推理，包含条件逻辑和组合生成。
知识广度 – 三种知识类型
WiseEdit 根据知识类型组织案例：
- 陈述性知识 – “知道是什么”；事实、概念、感知线索。
- 程序性知识 – “知道如何做”；多步骤技能或程序。
- 元认知知识 – “知道如何知道”；何时以及如何应用陈述性或程序性知识；涉及条件推理、规则堆叠等。 这些知识根植于文化常识、自然科学和时空逻辑，强调文化适宜、物理一致和逻辑连贯的编辑。
评估协议
采用基于视觉语言模型的自动评估流程：
- 主干评估器: GPT-4o。
- 评估指标 (1–10 线性映射至 0–100):
- IF – 指令遵循
- DP – 细节保留
- VQ – 视觉质量
- KF – 知识保真度 (针对知识相关的案例)
- CF – 创意融合 (针对想象/复杂案例)
- 总体分数计算公式:
AVG = (IF + DP + VQ + α·KF + β·CF) / (3 + α + β)其中，仅当KF或CF适用时，α和β才为1。 用户研究表明，该协议与人类评分有很强的相关性。
相关资源
- 评估代码仓库: https://github.com/beepkh/WiseEdit
- 模型评估结果数据集: https://huggingface.co/datasets/midbee/WiseEdit-Results
- 项目主页: https://qnancy.github.io/wiseedit_project_page/
- 论文地址: https://www.arxiv.org/abs/2512.00387
引用信息
如果使用本数据集，请引用： bibtex @article{pan2025wiseedit, title={WiseEdit: Benchmarking Cognition-and Creativity-Informed Image Editing}, author={Pan, Kaihang and Chen, Weile and Qiu, Haiyi and Yu, Qifan and Bu, Wendong and Wang, Zehan and Zhu, Yun and Li, Juncheng and Tang, Siliang}, journal={arXiv preprint arXiv:2512.00387}, year={2025} }
