OmniGen2/OmniContext

OmniContext是一个用于评估模型上下文生成能力的基准数据集，包含多种任务类型，如图像-文本到图像、图像到图像、任意到任意等。数据集由多样化的输入图像和相应的用户指令组成，支持使用GPT-4.1进行度量的评估。每个样本都包括任务类型、指令、输入图像列表、指令语言和唯一标识符。OmniContext is a benchmark dataset for evaluating models in-context generation capabilities, incorporating various task types such as image-text-to-image, image-to-image, any-to-any, etc. The dataset consists of diverse input images paired with corresponding user instructions and supports GPT-4.1-based metric evaluation. Each sample includes the task type, instruction, a list of input images, instruction language, and a unique identifier.

搜集汇总

数据集介绍

构建方式

OmniContext是OmniGen2项目中的一项创新基准数据集，专为评估模型在上下文生成中的综合能力而设计。该数据集精心整合了多样化的输入图像与指令，涵盖单一角色、单一物体、多角色、多物体、角色与物体混合以及场景结合角色或物体等多种任务类型，共计400个样本。每一数据样本均标准化为统一格式，包含任务类型、用户指令、输入图像列表、指令语言及唯一标识符，确保评估过程的可复现性与一致性。借助GPT-4.1进行可解释的度量驱动评估，OmniContext为上下文生成研究提供了严谨的测试框架。

特点

OmniContext数据集的核心特点在于其全面而细致的任务划分，从简单的单一元素生成到复杂的场景多元素融合，系统性地覆盖了上下文生成的关键维度。其输入图像组合灵活多变，例如场景任务中同时包含背景图像与角色或物体图像，模拟真实应用中的多模态输入。数据集采用GPT-4.1驱动的自动评估机制，不仅提升了评估效率，还通过可解释的度量标准增强了结果的可信度。此外，所有数据均遵循Apache-2.0许可协议，便于学术与工业界的广泛使用与扩展。

使用方法

使用OmniContext数据集时，研究者可通过HuggingFace的datasets库便捷加载，例如调用`load_dataset('OmniGen2/OmniContext', dataset, split='train')`获取训练数据。每个样本的JSON格式清晰定义了任务类型、指令及输入图像，便于直接用于模型推理。生成的图像需以样本中的唯一键值命名保存，以便后续评估。对于自动化评估的集成，建议参考官方GitHub仓库中的详细指南，该指南提供了从数据加载到指标计算的完整流程，确保评估结果与原始基准一致。

背景与挑战

背景概述

随着多模态生成模型的迅猛发展，上下文感知的图像生成（in-context image generation）逐渐成为研究热点。在此背景下，OmniContext基准数据集于2025年由VectorSpaceLab团队推出，旨在系统性地评估模型在多样化上下文条件下的生成能力。该数据集由郑鹏飞、吴晨源等研究人员主导，依托于OmniGen2项目，核心研究问题聚焦于如何构建一个涵盖单物体、多物体、场景融合等多种任务类型的综合评测体系。OmniContext通过引入GPT-4.1进行可解释的度量驱动评估，为多模态生成领域提供了更具深度和广度的性能标尺，对推动模型在复杂指令理解与视觉一致性生成方面的进步具有重要影响。

当前挑战

OmniContext所解决的领域挑战在于，现有基准多局限于单一任务或简单上下文，难以真实反映模型在复杂场景下的泛化能力。例如，模型需同时处理单字符、多物体与场景图像的混合输入，并准确遵循自然语言指令，这对视觉-语言对齐提出了极高要求。在构建过程中，团队面临多样本任务类型标准化、输入图像组合逻辑设计以及评估指标可解释性等难题。为确保评测的公平性与全面性，OmniContext精心设计了八类任务，每类包含50个样本，并统一了数据格式，从而在数据多样性、任务复杂度和自动化评估之间取得了平衡。

常用场景

经典使用场景

OmniContext作为OmniGen2的重要组成部分，是一个专为上下文感知图像生成而设计的综合性基准数据集。其经典使用场景在于评估模型在多样化输入图像与指令组合下的上下文生成能力，涵盖单物体、多物体、场景融合等八大任务类型，例如从单一角色图像生成新姿态、将多个物体融入指定场景等。该数据集通过GPT-4.1驱动的可解释性指标进行自动评估，为生成式多模态模型提供标准化的测试框架，推动图像生成领域从简单条件控制迈向复杂上下文理解。

衍生相关工作

OmniContext的发布催生了一系列衍生工作，包括基于其任务框架改进的模型架构研究，如引入解耦注意力机制以更好处理多输入图像的交叉关系；以及针对其评估指标的自动化分析工具，用于诊断模型在场景融合任务中的失败模式。此外，该数据集被用于训练OmniGen2等统一多模态生成模型，验证了在统一框架下实现任意输入到任意输出（any-to-any）生成的可能性。这些工作进一步拓展了上下文生成的理论边界，并为后续研究如少样本图像编辑、交互式视觉叙事等提供了基准与灵感。

数据集最近研究

最新研究方向

在图像生成领域，上下文感知的多模态生成正成为前沿热点，OmniContext基准数据集应运而生。该数据集基于OmniGen2框架，聚焦于评估模型在复杂上下文条件下的生成能力，涵盖单图、多图及场景级任务，如角色与物体的混合生成。其创新之处在于利用GPT-4.1进行可解释的指标驱动评估，突破了传统基准在多样性和语义理解上的局限。这一研究方向与近期多模态大模型在视觉推理与个性化内容生成中的爆发式需求紧密相连，OmniContext的提出不仅为模型性能提供了更全面的衡量标准，还推动了上下文生成技术在虚拟现实、数字内容创作等领域的实际应用，具有深远的方法论意义和产业价值。