weizhiwang/mlm_filter_instructions

--- license: apache-2.0 language: - en size_categories: - 10K<n<100K --- - mlm_filter_instruct_50k_gpt4v_cc12m_4k.json: the mixture of sampled 4k GPT-4V generated instructions of proposed image-text quality score generation task and 46k sampled instructions from LLaVA_665k - gpt4v_original_output_instruction.zip: original 40k GPT-4V generated instructions of 4 proposed image-text quality score generation task - images.zip: 10k images sampled from CC12M dataset using clutering based methods - CC12M_10k_sampled_image_captions.json: 10k captions corresponding to sampled images from CC12M dataset using clutering based methods许可证：Apache-2.0 语言：英语 规模类别：10000 < 样本量 < 100000 - mlm_filter_instruct_50k_gpt4v_cc12m_4k.json：为本研究提出的图文质量评分生成任务的4000条GPT-4V生成指令，与从LLaVA_665k数据集中采样的46000条指令的混合数据集 - gpt4v_original_output_instruction.zip：本研究提出的图文质量评分生成任务的40000条GPT-4V生成的原始指令压缩包 - images.zip：通过基于聚类的方法从CC12M数据集中采样得到的10000张图像压缩包 - CC12M_10k_sampled_image_captions.json：与通过基于聚类的方法从CC12M数据集中采样得到的10000张图像对应的10000条图像描述文本

原始信息汇总

数据集概述

数据文件

• mlm_filter_instruct_50k_gpt4v_cc12m_4k.json: 包含4k由GPT-4V生成的图像-文本质量评分任务指令和46k从LLaVA_665k采样的指令。
• gpt4v_original_output_instruction.zip: 包含40k由GPT-4V生成的4个图像-文本质量评分任务的原始指令。
• images.zip: 包含10k从CC12M数据集使用聚类方法采样的图像。
• CC12M_10k_sampled_image_captions.json: 包含10k与从CC12M数据集采样的图像相对应的描述。

数据集规模

• 数据集大小：10K<n<100K

语言

• 数据集语言：英语

许可证

• 数据集许可证：Apache-2.0

搜集汇总

数据集介绍

构建方式

在视觉与语言模型的研究领域中，数据质量对模型性能具有决定性影响。为系统性地评估图像-文本对的语义对齐程度，研究者构建了weizhiwang/mlm_filter_instructions数据集。该数据集采用基于聚类的采样方法从CC12M数据集中提取10,000张代表性图像，并为其配备对应的文本描述。核心构建过程包含两阶段：首先利用GPT-4V生成40,000条针对图像-文本质量评分任务的原始指令，随后从中精选4,000条高质量指令，与来自LLaVA_665k数据集的46,000条指令进行混合，形成包含50,000条指令的最终集合。

使用方法

该数据集适用于视觉语言模型的指令微调与质量评估任务。研究者可直接使用混合后的50,000条指令进行模型训练，或将GPT-4V生成的40,000条原始指令作为独立资源，探索图像-文本质量评分任务的指令设计。数据集中的图像与描述对可用于构建对比学习基准，而原始GPT-4V输出则支持对指令生成策略的逆向分析。使用时需注意数据集采用Apache-2.0许可证，且所有图像均源自CC12M数据集，确保合规性。推荐使用HuggingFace Datasets库加载JSON格式文件，并配合图像处理工具进行数据预处理。

背景与挑战

背景概述

在视觉语言模型迅猛发展的当下，如何高效筛选和评估海量图文数据质量成为制约模型性能提升的关键瓶颈。由weizhiwang团队于近期构建的mlm_filter_instructions数据集，旨在探索基于指令学习的图像-文本质量评分生成任务。该数据集融合了GPT-4V生成的4万条原始指令与LLaVA_665k中抽样的4.6万条指令，形成了涵盖5万条混合指令的精选集合。研究团队从CC12M数据集中通过聚类方法采样了1万张图像及其对应描述，为多模态数据质量评估提供了标准化基准。这一创新性工作不仅推动了指令微调在数据筛选领域的应用，也为构建更鲁棒的视觉语言模型奠定了数据基础，对多模态学习社区具有重要的参考价值。

当前挑战

该数据集面临的核心挑战在于多维度数据质量的精准量化。传统的图像-文本匹配评估往往依赖粗粒度的相关性指标，而mlm_filter_instructions试图通过指令学习实现细粒度质量评分，这要求模型能够理解复杂语义关系并区分噪声样本。构建过程中，研究者需要平衡GPT-4V生成指令的多样性与LLaVA指令的领域覆盖度，避免指令分布偏移导致评估偏差。此外，从CC12M中仅采样1万张图像可能无法充分代表真实世界的数据多样性，聚类方法本身也可能引入选择偏差。如何确保生成的评分指令在不同视觉场景下具有泛化性，以及如何验证这些指令对下游模型训练的增益效果，仍是亟待解决的技术难题。

常用场景

经典使用场景

在视觉语言模型蓬勃发展的背景下，该数据集为多模态指令微调提供了一条创新路径。其经典使用场景聚焦于图像-文本质量评分任务的指令生成，通过融合GPT-4V生成的4k高质量指令与LLaVA_665k中抽取的46k通用指令，构建了一个兼具专业性与多样性的指令集。研究者可借助该数据集训练模型精准评估图文对的语义对齐程度，从而提升多模态模型在细粒度理解任务上的表现。

解决学术问题

该数据集有效回应了多模态领域长期存在的图文质量评估缺乏标准化指令的学术困境。通过提出全新的图像-文本质量评分生成任务，它解决了传统人工标注成本高昂、主观性强且难以扩展的痛点。其意义在于为无监督或弱监督下的图文相关性建模提供了可靠的训练信号，推动了多模态预训练模型在噪声数据过滤、跨模态匹配等基础研究问题上的突破，并奠定了自动评估指标与人类感知一致性研究的数据基石。

实际应用

在实际应用中，该数据集直接赋能大规模多模态数据的清洗与筛选流程。基于其训练的评分模型可自动过滤低质量图文对，显著提升数据集的纯净度与训练效率。此外，它可嵌入图像搜索引擎的排序模块，优化检索结果的语义相关性；也可用于内容审核系统，快速识别图文不符的违规信息，在电商产品描述校验、社交媒体内容监控等场景中展现出实用价值。

数据集最近研究

最新研究方向

在视觉-语言模型（VLM）蓬勃发展的浪潮中，多模态指令数据的质量与多样性成为提升模型对齐能力的关键瓶颈。该数据集聚焦于图像-文本质量评分生成这一前沿任务，创新性地融合了GPT-4V生成的精细化指令与LLaVA大规模指令库，通过聚类采样技术从CC12M中提取代表性图像子集，构建了兼具高标注质量与领域覆盖度的训练资源。这一方向紧密关联当前多模态模型从感知向推理跃迁的热点趋势，其提出的质量评分任务不仅为自动评估图文匹配度提供了新范式，更推动了对噪声数据鲁棒性研究的深入，为构建更可靠、更可控的视觉指令微调基准奠定了重要基础，对降低人工标注成本、加速多模态智能系统的工业化落地具有显著意义。