VLUE

VLUE是一个多任务多维度的视觉语言理解评估基准，旨在评估视觉语言预训练模型的泛化能力和效率-性能权衡。该数据集包含五个基本任务，每个任务都有自己的私有分布外（OOD）测试集，这些测试集是通过众包方式在MaRVL数据集的图像上注释的，确保图像分布与COCO/VG数据集不同。VLUE不仅关注模型的绝对性能，还关注其在更广泛图像和概念上的泛化能力以及实际应用中的效率-性能权衡。VLUE is a multi-task and multi-dimensional visual-language understanding evaluation benchmark, which aims to evaluate the generalization ability and efficiency-performance trade-off of visual-language pre-trained models. This benchmark comprises five core tasks, each equipped with its own private out-of-distribution (OOD) test set. These test sets are annotated via crowdsourcing on images from the MaRVL dataset, ensuring that their image distributions differ from those of the COCO and VG datasets. Beyond focusing on the absolute performance of models, VLUE also evaluates their generalization capabilities across a broader range of images and concepts, as well as the efficiency-performance trade-off in real-world applications.

搜集汇总

数据集介绍

构建方式

VLUE基准数据集以多任务、多维度为核心构建理念，旨在系统评估视觉-语言预训练模型的泛化能力与效率-性能权衡。其构建方式独具匠心：针对图像-文本检索、视觉问答、视觉推理和视觉定位四项基础任务，在保留原有域内数据集（如MSCOCO、NLVR2等）的同时，通过众包平台为每项任务精心标注了一套全新的私有分布外（OOD）测试集。这些测试集基于MaRVL数据集中的图像，该图像集合由来自不同文化的母语者手工采集，呈现出与COCO/ImageNet截然不同的概念与风格，从而有效规避了预训练阶段数据泄露导致的评估偏差。标注流程严格遵循原始数据集协议，确保标签分布一致而图像分布迥异，为衡量模型的真实迁移能力提供了可靠基准。

特点

VLUE的核心特点在于其多维评估体系，超越了传统基准仅关注绝对性能的局限。首先，通过引入跨文化、跨地域的OOD测试集，该基准揭示了当前VLP模型在分布外场景下普遍存在的显著泛化差距——例如顶尖模型在图像检索任务上的R@1指标从80.4骤降至64.1，有力证明了域内评估对模型能力的夸大效应。其次，VLUE创新性地将效率-性能权衡纳入考量，通过测量实际推理时间而非简单参数或FLOPs，构建了帕累托前沿图，直观展示了模型在性能与效率之间的取舍关系。这种双重视角使得VLUE能够揭示单维度评估无法察觉的结论：例如性能相近的模型在效率维度上可能天差地别，从而引导研究关注真正实用且泛化的多模态智能。

使用方法

使用VLUE基准时，研究者需遵循标准化的评估协议。首先，在原始域内训练集上对VLP模型进行微调，随后在对应的私有OOD测试集上以零样本方式进行评估，以此测量模型的真实泛化能力。性能指标涵盖各任务的特定度量，如检索任务的R@K、视觉推理与问答的准确率等。同时，需在固定硬件环境（如单张NVIDIA Tesla V100 GPU）下记录模型的平均推理时间，以评估效率-性能权衡。VLUE提供了在线排行榜与代码库，支持研究者提交结果并追踪帕累托最优状态。此外，OOD数据还可用于迁移学习或领域自适应研究，进一步拓展了其应用场景，促进了对环境友好且实用VLP模型的探索。

背景与挑战

背景概述

视觉语言预训练（VLP）领域近年来取得了显著进展，推动了多模态智能系统的发展。然而，现有评估体系存在两大隐患：多数下游数据集（如COCO、Visual Genome）的图像已被VLP模型在预训练阶段“见过”，导致模型泛化能力被高估；同时，研究者过度关注绝对性能而忽视效率与性能的平衡。为应对这一困境，字节跳动AI Lab与香港科技大学的研究团队（王春树、曾彦等）于2022年在ICML上发布了VLUE基准。该基准涵盖图像-文本检索、视觉问答、视觉推理和视觉定位四项核心任务，并首次引入跨文化分布的私有分布外（OOD）测试集，旨在真实衡量VLP模型对未见概念与多样化场景的迁移能力。VLUE的提出为多模态领域提供了更严谨的评估范式，推动了通用多智能体研究的规范化。

当前挑战

VLUE所解决的领域问题主要聚焦于VLP模型评估中的两大挑战。其一，现有模型在“同分布”测试集上的性能虚高，因预训练与下游任务共享图像分布，导致模型在分布偏移场景下泛化能力骤降，例如在OOD测试集上最优模型的文本检索R@1从80.4%跌至64.1%。其二，模型效率与性能的权衡常被忽视，超大规模模型虽刷新绝对指标，却因高昂计算成本难以实用化，而VLUE通过引入“帕累托最优”维度揭示设计差异，如ALBEF在接近X-VLM性能时推理速度提升2.4倍。在构建过程中，挑战在于需从MaRVL数据集中筛选跨文化、跨地域的图像源，并众包完成与原始任务协议一致的标注（如翻译低资源语言语句、控制答案分布），确保分布偏移仅源于图像领域而非标注噪声。

常用场景

经典使用场景

在视觉语言预训练领域，VLUE基准被广泛用于评估模型的多任务泛化能力。它涵盖了图像文本检索、视觉问答、视觉推理与视觉定位等核心任务，每个任务均配备了基于跨文化图像分布构建的私有分布外测试集。研究者通过在此基准上微调并评估模型在域内与分布外数据上的表现，可以系统性地衡量模型是否具备超越训练分布的真正跨模态理解能力。

衍生相关工作

VLUE衍生了一系列重要的后续工作，例如基于其分布外测试集，研究者进一步探索了领域自适应与少样本迁移学习策略。受其多维度评估理念启发，后续工作如VALUE和GEM基准分别拓展至视频理解与多语言多模态场景。此外，帕累托最优前沿的度量方法被借鉴到模型压缩与知识蒸馏研究中，催生了更注重实用性的轻量化视觉语言模型设计。

数据集最近研究

最新研究方向

在视觉语言预训练领域，VLUE基准的提出标志着评估范式从单一绝对性能向多维度综合考量的深刻转变。当前前沿研究正聚焦于两大核心议题：一是模型在跨文化、跨地域的野外分布图像上的泛化能力，这一方向直接回应了传统COCO/VG数据集导致的分布内偏差问题，揭示了现有模型在真实世界多样化场景中的性能显著滑坡；二是效率与性能的帕累托最优权衡，即在不牺牲推理速度与计算资源的前提下追求更优表现。VLUE通过引入私有的分布外测试集与帕累托前沿分析，为构建真正可推广且实用的视觉语言模型奠定了关键基准，推动了该领域向更严谨、更贴近实际应用的方向演进。

相关研究论文

• VLUE: A Multi-Task Benchmark for Evaluating Vision-Language Models

  字节跳动AI实验室 · 2022年