有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
CultureVerse|多模态文化理解数据集|视觉-语言模型数据集
收藏arXiv2025-01-02 更新2025-01-06 收录
下载链接：
https://culturevlm.github.io
下载链接
链接失效反馈资源简介：
CultureVerse是一个大规模的多模态文化理解基准数据集，由澳门大学、微软研究院等机构联合构建。该数据集涵盖了19,682个文化概念，覆盖188个国家和地区，包含15个文化类别和3种问题类型，总样本量达到228,053条。数据集的构建过程结合了自动化网络爬取和专家人工标注，确保了数据的多样性和高质量。CultureVerse旨在评估和提升视觉-语言模型（VLMs）的多文化理解能力，特别关注全球南方国家和少数民族文化的代表性。通过该数据集，研究者可以训练和评估模型在不同文化背景下的表现，推动更公平、更具文化意识的多模态AI系统的发展。
提供机构：
澳门大学, 乔治亚理工学院, 微软研究院, Squirrel AI, 利哈伊大学, 威廉与玛丽学院
创建时间：
2025-01-02
AI搜集汇总
数据集介绍
构建方式
CultureVerse数据集的构建采用了多阶段混合方法，结合了自动化网络爬取与专家人工标注，以确保数据的多样性和高质量。首先，通过预定义的15个文化类别（如食物、节日、地标等），从维基百科文档中提取了19,682个文化概念，覆盖了188个国家和地区。随后，利用GPT-4o生成与这些概念相关的图像识别、文化知识和场景推理问题，并通过人工标注进行质量检查，确保问题与图像的准确性和文化相关性。最终，数据集包含228,053个样本，涵盖了3种任务类型和15个文化类别。
特点
CultureVerse数据集的特点在于其广泛的覆盖范围和多样化的文化内容。数据集涵盖了188个国家和地区的19,682个文化概念，确保了全球文化的代表性。此外，数据集通过图像识别、文化知识和场景推理三种任务类型，全面评估了视觉语言模型（VLMs）的文化理解能力。数据集中的文化概念不仅涵盖了常见的西方文化元素，还特别关注了非洲、亚洲等地区的文化，弥补了现有数据集中对非西方文化的不足。
使用方法
CultureVerse数据集主要用于评估和提升视觉语言模型（VLMs）的多文化理解能力。研究人员可以通过该数据集对模型进行微调，以增强其对不同文化背景的理解。具体使用方法包括：首先，使用数据集中的训练集对模型进行微调，提升其在图像识别、文化知识和场景推理任务中的表现；其次，通过测试集评估模型在不同文化背景下的泛化能力。此外，数据集还可用于研究模型在跨文化、跨大陆和跨数据集上的泛化表现，为开发更具文化敏感性的多模态AI系统提供支持。
背景与挑战
背景概述
CultureVerse是由Shudong Liu等人于2025年提出的一个大规模多模态基准数据集，旨在评估和改进视觉-语言模型（VLMs）在跨文化理解方面的能力。该数据集涵盖了19,682个文化概念、188个国家和地区、15个文化类别以及3种问题类型，旨在解决现有VLMs在文化理解上的偏差问题，尤其是对非西方文化的理解不足。CultureVerse的创建标志着在构建更具文化敏感性的多模态AI系统方面迈出了重要一步，推动了全球范围内文化多样性的AI研究。该数据集的研究背景源于VLMs在图像分类和视觉问答等任务中的显著进展，但其在文化符号、手势和文物等深层次文化理解上的表现仍存在显著不足。
当前挑战
CultureVerse面临的挑战主要包括两个方面：首先，现有VLMs在处理文化符号和文物时，往往无法捕捉其深层次的文化含义，导致对非西方文化的理解偏差。例如，模型可能将鹰仅仅识别为一种鸟类，而忽略了其作为美国国家象征的文化意义。其次，数据集的构建过程中也面临诸多挑战，包括文化概念的多样性覆盖、数据收集的规模化和质量保证等。由于文化概念的复杂性和多样性，确保数据集的代表性和准确性需要大量的人工标注和专家参与，这增加了数据集构建的复杂性和成本。此外，现有数据集的英语中心化和西方文化偏见也限制了模型对全球南方文化的理解能力。
常用场景
经典使用场景
CultureVerse数据集在视觉-语言模型（VLMs）的跨文化理解能力评估与提升中具有经典应用场景。该数据集通过涵盖188个国家和地区的19,682个文化概念，提供了丰富的多模态数据，用于测试模型在不同文化背景下的表现。其经典使用场景包括视觉问答、图像识别和文化知识推理任务，帮助研究人员评估模型在识别和理解不同文化符号、手势和文物方面的能力。
实际应用
CultureVerse数据集的实际应用场景广泛，特别是在全球化的AI系统中。例如，在跨文化交流、旅游推荐系统、文化教育平台等领域，该数据集可以帮助AI系统更好地理解和适应用户的文化背景，避免因文化误解导致的沟通障碍。此外，该数据集还可用于开发多语言、多文化的视觉问答系统，提升AI在全球范围内的适用性和用户体验。
衍生相关工作
CultureVerse数据集衍生了一系列相关研究工作，特别是在跨文化视觉-语言模型的微调和评估方面。基于该数据集，研究人员提出了CultureVLM模型，通过微调显著提升了模型在跨文化理解任务中的表现。此外，该数据集还启发了其他跨文化基准的开发，如CVQA和CulturalVQA，进一步推动了多模态AI系统在文化多样性方面的研究与应用。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
The Sol Genomics Network (SGN)
The Sol Genomics Network (SGN) 是一个专注于茄科植物基因组学研究的在线数据库和资源平台。该数据集包含了大量关于番茄、马铃薯、辣椒等茄科植物的基因组、遗传图谱、分子标记、QTL（数量性状位点）分析、表达数据以及相关文献等信息。SGN 旨在促进茄科植物的遗传学和基因组学研究，支持全球科研人员进行数据共享和合作。
solgenomics.net 收录
MedDialog
MedDialog数据集（中文）包含了医生和患者之间的对话（中文）。它有110万个对话和400万个话语。数据还在不断增长，会有更多的对话加入。原始对话来自好大夫网。
github 收录
D4LA-版面分析数据集
# D4LA 文档版面分析数据集 (the most Diverse and Detailed Dataset ever for Document Layout Analysis) ## 数据集概述 D4LA是面向文档版面分析的数据集。 ### 数据集简介 包含12类文档工27类文档版面类型，详细如下:  ### 标注格式 ``` D4LA ├── train_images │ ├── 1.jpg ├── test_images │ ├── 2.jpg ├── VGT_D4LA_grid_pkl │ ├── 1.pkl │ └── 2.pkl ├── json │ ├── train.json │ └── test.json ``` ### 引用方式 If you find this repository useful, please consider citing our work: ``` @inproceedings{da2023vgt, title={Vision Grid Transformer for Document Layout Analysis}, author={Cheng Da and Chuwei Luo and Qi Zheng and Cong Yao}, year={2023}, booktitle = {ICCV}, } ``` ### Clone with HTTP ```bash git clone https://www.modelscope.cn/datasets/damo/D4LA.git ```
魔搭社区 收录
RML24
RML24是首个专门为卫星信号识别和解调的深度学习应用设计的数据集。它整合了遥测和通信信号在遥测、跟踪和指挥（TT&C）系统中，并模拟了真实卫星信道中的信号损伤效应。该数据集利用软件定义无线电（SDR）平台和射频（RF）收发器进行严格的空中测量，并验证收集的数据。RML24为研究人员提供了基本的数据和建模基准，以促进智能和自适应卫星通信系统的算法验证和发展，推动数据驱动卫星通信技术的发展。
github 收录