Henna

一个专门设计用于评估与阿拉伯文化相关的多模态大型语言模型的基准。A benchmark specifically designed for evaluating multimodal large language models related to Arab culture.

原始信息汇总

Peacock: A Family of Arabic Multimodal Large Language Models and Benchmarks

摘要

多模态大型语言模型（MLLMs）在需要复杂推理和语言理解的广泛任务中已被证明是有效的。然而，由于缺乏除英语以外的其他语言的高质量多模态资源，MLLMs的成功在很大程度上局限于基于英语的设置。这给开发其他语言（包括甚至拥有大量说话人口的阿拉伯语）的类似模型带来了重大挑战。为了缓解这一挑战，我们引入了一个全面的阿拉伯语MLLMs家族，称为Peacock，具有强大的视觉和语言能力。通过全面的定性和定量分析，我们展示了我们的模型在各种视觉推理任务上的坚实性能，并进一步展示了它们的新兴方言潜力。此外，我们引入了Henna，一个专门设计用于评估与阿拉伯文化相关的MLLMs方面的新基准，为文化感知的阿拉伯MLLMs奠定了第一块基石。

Henna基准

这个图像集合展示了从Henna数据集中精选的子集，代表了11个阿拉伯国家，捕捉了传统食物、当地习俗、历史遗迹、日常活动和各地区特有的建筑特征的本质。

Henna数据集生成

数据集生成示例使用GPT-4V。该图展示了以也门的一个景点为例，生成问题-答案数据集的过程。对于每个地点，使用其对应的维基百科文章和图像为GPT-4V提供丰富的上下文信息。然后，模型为每张图像生成了十个上下文相关的问题和答案。

评估结果

比较Peacock模型在SEED-Benchmark维度上的性能。

示例

展示Peacock模型的示例图像。

引用

如果您发现这项工作对您的研究有用，请引用我们的论文：

@article{alwajih2024peacock, title={Peacock: A Family of Arabic Multimodal Large Language Models and Benchmarks}, author={Alwajih, Fakhraddin and Nagoudi, El Moatez Billah and Bhatia, Gagan and Mohamed, Abdelrahman and Abdul-Mageed, Muhammad}, journal={arXiv preprint arXiv:2403.01031}, year={2024} }

搜集汇总

数据集介绍

构建方式

Henna数据集的构建源于对阿拉伯文化视觉语言资源的迫切需求。研究团队从维基百科精选了涵盖11个阿拉伯国家（包括埃及、巴勒斯坦、摩洛哥和也门等）的图像，这些图像聚焦于传统美食、当地习俗、历史遗迹、日常活动及标志性建筑等文化要素。针对每张图像，他们先提取对应的维基百科文章作为上下文，随后利用GPT-4V模型生成10个与图像紧密相关的问题及其答案，最终构建了一个包含1132个样本的高质量基准测试集。所有数据均经过人工精心筛选与审核，以确保其文化代表性与内容准确性。

特点

Henna数据集的核心特色在于其深刻的阿拉伯文化专属性，它专门用于评估多模态大语言模型对阿拉伯视觉文化的理解能力。该数据集覆盖了从摩洛哥到也门的广阔地域，囊括了食物、服饰、建筑、音乐等多个文化维度，为模型提供了丰富且真实的阿拉伯文化场景。与通用数据集不同，Henna中的问题设计强调对文化背景的深层解读，例如识别传统手工艺品的材质或理解特定仪式场景的意义。此外，其评估体系采用GPT-4作为裁判，从有用性、相关性、准确性和细节丰富度四个维度进行评分，为衡量模型的文化感知能力提供了严谨的量化标准。

使用方法

Henna数据集专为评估而设计，不参与模型训练。使用时，研究者可将图像与对应的阿拉伯语问题输入待评估的多模态大语言模型，获取模型生成的回答。随后，利用GPT-4评估器，依据预设的四个评分标准（有用性、相关性、准确性和细节丰富度）对模型回答进行打分，每个标准从1到10分。该过程通过结构化的提示词引导GPT-4输出JSON格式的评分结果，便于进行定量分析。通过对比不同模型在Henna上的得分，研究者可清晰洞察其在阿拉伯文化视觉理解任务上的表现优劣，从而推动更具文化感知力的多模态模型的发展。

背景与挑战

背景概述

多模态大语言模型（MLLMs）在复杂推理与语言理解任务中展现出卓越效能，然而其成功主要局限于英语环境，其他语言（包括阿拉伯语等拥有庞大使用群体的语言）因高质量多模态资源的匮乏而发展滞后。为弥合这一技术鸿沟，英属哥伦比亚大学与Invertible AI的研究团队于2024年推出了Peacock系列阿拉伯语多模态大语言模型，并同步构建了Henna基准数据集。该数据集专为评估MLLMs在阿拉伯文化语境下的视觉理解能力而设计，包含1132个精心筛选与人工审核的样本，覆盖11个阿拉伯国家的传统美食、历史遗迹、风俗习惯等文化要素。Henna的诞生标志着阿拉伯语文化感知型MLLMs评估从无到有的跨越，为相关领域研究奠定了首个标准化评测基石。

当前挑战

Henna数据集面临的核心挑战源于阿拉伯语多模态资源的系统性匮乏。其一，领域问题层面，现有MLLMs在视觉问答、复杂推理等任务中严重偏向英语，阿拉伯语模型因缺乏本土化高质量图像-文本配对数据，难以实现与英语模型相当的视觉语义对齐能力。其二，构建过程中，研究团队需从零开始设计翻译-过滤管线：通过Google API将英文数据集（如COCO、LLaVA指令集）转化为阿拉伯语，并借助多语言句子嵌入模型LaBSE计算翻译前后语义相似度，仅保留相似度高于80%的高质量样本，过滤比例约达20%。此外，文化特殊性带来额外挑战——诸如“也门弯刀手柄材质”等富含地域知识的图像，需依赖GPT-4V结合维基百科上下文生成评测问答，确保文化要素的准确表达与评估的客观性。

常用场景

经典使用场景

Henna数据集专为评估多模态大语言模型在阿拉伯文化视觉理解方面的能力而设计。它包含1132个手工精心筛选的样本，涵盖11个阿拉伯国家的传统美食、当地习俗、历史古迹、日常活动及标志性建筑等文化要素。研究者利用该数据集测试模型对阿拉伯文化特定图像的解读能力，例如识别也门传统匕首、摩洛哥音乐场景或沙特阿拉伯的建筑风格，从而衡量模型在跨文化视觉推理任务中的表现。

实际应用

在实际应用中，Henna可用于开发面向阿拉伯用户的智能助手与文化教育工具。例如，旅游导览系统可利用该数据集训练的模型识别阿拉伯历史建筑并生成文化解说；电商平台可借助模型理解阿拉伯传统服饰或食品图像，提供精准的商品推荐。此外，该数据集还能支撑社交媒体内容审核，自动识别并尊重阿拉伯文化符号，避免跨文化误解。

衍生相关工作

Henna的提出衍生了多项重要工作。Peacock模型家族基于该数据集进行了微调与评估，展示了在阿拉伯文化视觉问答上的优越性能。后续研究可借鉴其数据构建方法，开发针对其他低资源语言或特定文化群体的类似基准。此外，该数据集推动了方言阿拉伯语多模态研究，例如研究者利用Henna验证了模型在埃及方言指令下的响应能力，为方言视觉对话系统开辟了新方向。