高质量通用图文数据集覆盖了各类图像数据以及对应的高质量文本描述，助力于人工智能研究，为图像和文本的多模态学习提供丰富的数据基础，有助于开发更先进的人工智能模型。对于图像描述生成，在图像描述生成领域，它可以让模型学习到如何准确、生动且富有逻辑性地描述一幅图像的内容；对于文本到图像生成方面，为模型提供丰富的参考和灵感，从而生成更符合文本描述、更具创意和艺术感的生动图像。在图像识别方面，能够帮助模型更精

北京市数据知识产权2024-09-06 更新5770

OpenAI-CLIP weights

多模态学习

预训练模型

OpenAI's CLIP - pretrained weights

kaggle2022-08-04 更新480

VALUE (Video-And-Language Understanding Evaluation)

视频理解

多模态学习

VALUE 是一个视频和语言理解评估基准，用于测试可推广到不同任务、领域和数据集的模型。它是 11 个 VidL（视频和语言）数据集的集合，涵盖 3 个流行任务：（i）文本到视频检索； (ii) 视频问答； (iii) 视频字幕。 VALUE 基准旨在涵盖广泛的视频类型、视频长度、数据量和任务难度级别。 VALUE 不只关注具有视觉信息的单通道视频，而是推广利用来自视频帧及其相关字幕的信息的模型，

OpenDataLab2026-07-12 更新340

TravelQA

旅行问答

多模态学习

TravelQA是一个大规模的多模态旅行问答数据集，包含265K个问答对：160K个基于文本的问答，来自真实的旅行来源；100K个视觉语言问答，包含地图和位置图像；5K个专家标注的链式推理示例。数据集覆盖全球35+个城市。

github2026-01-21 更新580

IndoMER DATASET

情感识别

多模态学习

IndoMER DATASET是第一个全面的印尼多模态情感识别基准数据集。该数据集包含1944个时间对齐的社交媒体视频片段，经过精心标注，涵盖文本、音频和视觉模态的七种情感，并具有详细记录的长尾类别分布，以反映现实世界的挑战。

github2025-12-23 更新470