Darija Open Dataset (DODa)

Darija Open Dataset (DODa) 是一个针对摩洛哥方言Darija的开源项目，旨在提升自然语言处理能力。该数据集包含约100,000条记录，是Darija-English翻译领域最大的合作项目。数据集内容丰富，包括语义和句法分类、拼写变体、多时态动词变位以及数以万计的翻译句子。数据集支持拉丁和阿拉伯字母，反映不同来源和应用中的语言变异和偏好。DODa的创建旨在解决Darija语言资源稀缺的问题，支持摩洛哥社区的语言需求，并可能扩展到邻近地区的类似方言。数据集的应用领域广泛，旨在通过翻译技术，使Darija能够利用现有的NLP技术和基础设施，加速高质量NLP工具的开发，确保Darija在全球数字景观中的整合。

Darija Open Dataset (DODa) is an open-source initiative targeting the Moroccan Darija dialect, aimed at enhancing natural language processing (NLP) capabilities. Containing approximately 100,000 records, it stands as the largest collaborative project in the Darija-English translation domain. The dataset boasts rich content, covering semantic and syntactic classifications, spelling variations, multi-tense verb conjugations, as well as tens of thousands of translated sentence pairs. It supports both Latin and Arabic scripts, reflecting linguistic variations and preferences across different sources and use cases. The development of DODa aims to address the scarcity of Darija language resources, support the linguistic needs of the Moroccan community, and potentially extend to similar dialects in neighboring regions. With a wide range of application scenarios, the dataset intends to enable Darija to leverage existing NLP technologies and infrastructure via translation technologies, accelerate the development of high-quality NLP tools, and ensure the integration of Darija into the global digital landscape.

原始信息汇总

数据集概述

项目概览

• 翻译接口：使用用户友好的AtlasIA界面，展示Darija句子供翻译，贡献者提供英语或法语的翻译。
• 附加功能：贡献者可以选择提供Darija句子的音频录音，以及与翻译相关的置信度。
• 数据存储：收集的数据（包括Darija句子、翻译、音频录音和置信度）最初存储在Firestore DB中，经过处理后移至本仓库以公开。

如何贡献

• 访问：访问AtlasIA。
• 翻译句子：阅读提供的句子，选择翻译语言（EN/FR），并将句子翻译成所选语言。
• 可选功能：贡献者可以录制原始句子的音频（可选）并提交。
• 报告错误句子：如果遇到错误句子，可以使用“报告”按钮发送警报。
• 预处理：在将数据添加到本仓库之前，我们的团队将预处理数据以确保数据质量和一致性。
• 欢迎贡献：我们邀请对Darija-English翻译感兴趣的个人贡献翻译或改进数据集。

数据集结构

数据集以结构化格式组织，每个条目包含：

• Darija句子
• 英语或法语翻译
• 可选的音频录音
• 置信度

许可证

本数据集在CC BY-NC-SA 4.0许可下发布，对所有人开放用于研究和开源工作。

搜集汇总

数据集介绍

构建方式

Darija Open Dataset (DODa) 的构建依托于开放协作的众包模式，通过GitHub平台以MIT开源许可协议发布，鼓励全球研究者与爱好者共同贡献。数据集以摩洛哥方言Darija为核心，聚焦于人口密集区域的标准口语，确保语料的代表性与一致性。目前，DODa已收录超过一万条词条，涵盖动词、名词、形容词等词性，并细分为食物、动物、人体、健康、教育等语义类别。每条词条均以拉丁字母为主，辅以数字和符号来映射阿拉伯语中特有的发音（如使用“3”表示“ع”），同时保留阿拉伯字母的贡献途径，以兼顾不同书写习惯。此外，数据集还系统性地收录了动词变位（过去时、将来时、命令式）、名词阴阳性与单复数对应关系，以及动词到名词的派生规则，构建了超越简单词汇表的语言学资源。

特点

DODa 的核心特点在于其开放性、协作性与面向自然语言处理（NLP）的针对性设计。作为摩洛哥方言领域最大的开源英译数据集，它突破了现有资源在封闭性、领域局限和静态更新上的桎梏。数据集不仅按词性和语义双重分类，还提供了多样化的拼写变体，以应对Darija缺乏标准正字法的挑战，从而提升模型的泛化能力。尤为突出的是，DODa包含了800多个动词的完整变位表、近900组阴阳性与单复数匹配，以及850余条动名对应关系，并延伸至习语、谚语和短句表达，为句法分析、机器翻译等任务提供了丰富的语言学线索。其以英语为目标语言的设计，更便于融入主流NLP框架，降低研究门槛。

使用方法

DODa 的使用灵活且贴近实际应用场景。研究者可直接从GitHub仓库下载数据集，利用其JSON或CSV格式的条目，快速接入词性标注、语义分类、机器翻译等任务。数据集的多拼写特性适用于训练拼写归一化模型，而动词变位与词形对应关系则可用于形态学分析或序列生成。一个典型应用案例是将ImageNet的1000个类别标签翻译为Darija，结合预训练的ResNet50模型，实现了图像分类任务的方言化输出。此外，数据集的开放许可允许用户自由复制、修改和分发，便于定制子集或扩展新类别。未来，随着社区持续贡献，长句和段落语料的加入将进一步拓展其在对话系统与文本生成中的潜力。

背景与挑战

背景概述

在自然语言处理领域，方言资源的匮乏长期制约着多语言应用的普适性与包容性。摩洛哥阿拉伯语方言“达里贾”（Darija）作为超过3200万使用者日常交流的母语，却因缺乏标准化正字法和计算资源而成为NLP研究的薄弱环节。为填补这一空白，Aissam Outchakoucht与Hamza Es-Samaali于2021年联合创建了Darija Open Dataset（DODa），这是迄今最大的开源达里贾-英语平行语料库，收录逾万条词条，涵盖动词变位、词性标注、语义分类及多拼写形式。该项目以MIT开源协议托管于GitHub，旨在为研究者与开发者提供标准化的方言资源，其影响力已延伸至图像分类等下游任务，通过翻译ImageNet标签验证了数据集的实际应用潜力。

当前挑战

DODa所面临的挑战兼具领域独特性与构建复杂性。从领域问题看，达里贾作为低资源方言，缺乏统一书写规范，同一词汇常以阿拉伯字母或拉丁字母-数字混合形式呈现，且77.63%词汇源自现代标准阿拉伯语，混杂法语、柏柏尔语等借词，导致模型泛化困难；同时，现有数据集多局限于名词或特定领域，缺乏动词变位、词性关联等NLP必备的语法结构，难以支撑深度学习任务。从构建过程看，团队需在无标准正字法的前提下确立拼写规则（如用数字替代阿拉伯字母），并平衡不同地区的口音差异以避免代表性偏差；此外，开源协作模式虽保障了数据动态增长，却对质量控制与跨贡献者一致性提出严苛要求，如确保拉丁字母与阿拉伯字母拼写间的可逆映射，以及多义词的语境消歧标注。

常用场景

经典使用场景

Darija Open Dataset (DODa) 作为迄今为止规模最大的摩洛哥方言——达里贾语——与英语之间的开源平行语料库，其经典使用场景聚焦于自然语言处理（NLP）领域的机器翻译与跨语言语义理解。研究者可借助该数据集构建达里贾语到英语的翻译模型，通过其精心设计的词性标注、语义分类以及动词变位、名词阴阳性对应等结构化信息，实现从词汇到句法的深层语言映射。此外，DODa 的多拼写变体收录特性，使其成为训练鲁棒性模型的理想资源，能够有效应对达里贾语在社交媒体等非正式场景中的拼写多样性，从而推动低资源方言的NLP研究迈向标准化与实用化。

实际应用

在实际应用层面，DODa 展现出在方言人机交互与多语言服务系统中的巨大潜力。例如，基于该数据集训练的机器翻译模块可被集成至摩洛哥本土的智能客服、旅游导览或教育平台，实现用户以达里贾语提问并获得英语或阿拉伯语回应的无缝体验。论文中展示的ImageNet标签达里贾语翻译应用更是一个典型范例：通过将1000个视觉类别译为达里贾语，并配合预训练模型（如ResNet50），即可打造面向摩洛哥用户的本地化图像识别系统，使不熟悉英语的群体能够以母语进行图片搜索或内容理解。这一实践为方言在智能设备、社交媒体内容分类等场景中的落地提供了可复用的技术路径。

衍生相关工作

DODa 的开源与协作特性催生了一系列衍生工作，推动了达里贾语计算资源的生态繁荣。其结构化数据可直接服务于方言词嵌入（word embedding）模型的训练，例如研究者可基于DODa的词汇对应关系开发达里贾语的预训练语言模型，或构建面向方言的拼写标准化工具。此外，DODa 的动词变位与名词形态对应表为方言形态分析器的设计提供了黄金标准，进而衍生出如达里贾语依存句法分析、情感分析等下游任务的数据集与基线系统。更为深远的是，该数据集所倡导的“以英语为目标语言”的设计理念，启发了后续其他阿拉伯方言（如阿尔及利亚、突尼斯方言）建立类似的开源英译语料库，形成了低资源方言NLP研究的协同网络。