Cognitive-Lab/GoogleIndicGenBench_flores_xxen_in

Name: Cognitive-Lab/GoogleIndicGenBench_flores_xxen_in
Creator: Cognitive-Lab
Published: 2024-06-04 06:08:51
License: 暂无描述

Hugging Face2024-06-04 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/Cognitive-Lab/GoogleIndicGenBench_flores_xxen_in

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: gu features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 485428 num_examples: 1012 - name: dev num_bytes: 485428 num_examples: 1012 download_size: 501492 dataset_size: 970856 - config_name: hi features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 491449 num_examples: 1012 - name: dev num_bytes: 491449 num_examples: 1012 download_size: 502260 dataset_size: 982898 - config_name: kn features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 529825 num_examples: 1012 - name: dev num_bytes: 529825 num_examples: 1012 download_size: 524842 dataset_size: 1059650 - config_name: ml features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 566113 num_examples: 1012 - name: dev num_bytes: 566113 num_examples: 1012 download_size: 551704 dataset_size: 1132226 - config_name: mr features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 510066 num_examples: 1012 - name: dev num_bytes: 510066 num_examples: 1012 download_size: 519440 dataset_size: 1020132 - config_name: ta features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 576001 num_examples: 1012 - name: dev num_bytes: 576001 num_examples: 1012 download_size: 537170 dataset_size: 1152002 - config_name: te features: - name: target dtype: string - name: source dtype: string - name: translation_direction dtype: string - name: lang dtype: string splits: - name: test num_bytes: 508060 num_examples: 1012 - name: dev num_bytes: 508060 num_examples: 1012 download_size: 518266 dataset_size: 1016120 configs: - config_name: gu data_files: - split: test path: gu/test-* - split: dev path: gu/dev-* - config_name: hi data_files: - split: test path: hi/test-* - split: dev path: hi/dev-* - config_name: kn data_files: - split: test path: kn/test-* - split: dev path: kn/dev-* - config_name: ml data_files: - split: test path: ml/test-* - split: dev path: ml/dev-* - config_name: mr data_files: - split: test path: mr/test-* - split: dev path: mr/dev-* - config_name: ta data_files: - split: test path: ta/test-* - split: dev path: ta/dev-* - config_name: te data_files: - split: test path: te/test-* - split: dev path: te/dev-* ---

本数据集包含7个独立配置，每个配置对应一类印度地方语言的机器翻译任务，详细信息如下： 1. 古吉拉特语（Gujarati）配置（配置标识：gu） - 数据集特征：包含4个字符串类型字段，分别为`target`（目标翻译文本）、`source`（源文本）、`translation_direction`（翻译方向）、`lang`（语言标识） - 数据集划分： - 测试集（test）：字节数485428，样本量1012 - 开发集（dev）：字节数485428，样本量1012 - 下载大小：501492字节 - 数据集总占用大小：970856字节 2. 印地语（Hindi）配置（配置标识：hi） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数491449，样本量1012 - 开发集（dev）：字节数491449，样本量1012 - 下载大小：502260字节 - 数据集总占用大小：982898字节 3. 卡纳达语（Kannada）配置（配置标识：kn） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数529825，样本量1012 - 开发集（dev）：字节数529825，样本量1012 - 下载大小：524842字节 - 数据集总占用大小：1059650字节 4. 马拉雅拉姆语（Malayalam）配置（配置标识：ml） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数566113，样本量1012 - 开发集（dev）：字节数566113，样本量1012 - 下载大小：551704字节 - 数据集总占用大小：1132226字节 5. 马拉地语（Marathi）配置（配置标识：mr） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数510066，样本量1012 - 开发集（dev）：字节数510066，样本量1012 - 下载大小：519440字节 - 数据集总占用大小：1020132字节 6. 泰米尔语（Tamil）配置（配置标识：ta） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数576001，样本量1012 - 开发集（dev）：字节数576001，样本量1012 - 下载大小：537170字节 - 数据集总占用大小：1152002字节 7. 泰卢固语（Telugu）配置（配置标识：te） - 数据集特征：与古吉拉特语配置一致，包含4个字符串类型字段：`target`、`source`、`translation_direction`、`lang` - 数据集划分： - 测试集（test）：字节数508060，样本量1012 - 开发集（dev）：字节数508060，样本量1012 - 下载大小：518266字节 - 数据集总占用大小：1016120字节数据集文件路径配置如下： - 古吉拉特语（Gujarati）配置：测试集数据路径为`gu/test-*`，开发集数据路径为`gu/dev-*` - 印地语（Hindi）配置：测试集数据路径为`hi/test-*`，开发集数据路径为`hi/dev-*` - 卡纳达语（Kannada）配置：测试集数据路径为`kn/test-*`，开发集数据路径为`kn/dev-*` - 马拉雅拉姆语（Malayalam）配置：测试集数据路径为`ml/test-*`，开发集数据路径为`ml/dev-*` - 马拉地语（Marathi）配置：测试集数据路径为`mr/test-*`，开发集数据路径为`mr/dev-*` - 泰米尔语（Tamil）配置：测试集数据路径为`ta/test-*`，开发集数据路径为`ta/dev-*` - 泰卢固语（Telugu）配置：测试集数据路径为`te/test-*`，开发集数据路径为`te/dev-*`

提供机构：

Cognitive-Lab

原始信息汇总

数据集概述

数据集配置

配置名称: gu

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 485428字节
- dev: 1012个样本, 485428字节
下载大小: 501492字节
数据集大小: 970856字节

配置名称: hi

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 491449字节
- dev: 1012个样本, 491449字节
下载大小: 502260字节
数据集大小: 982898字节

配置名称: kn

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 529825字节
- dev: 1012个样本, 529825字节
下载大小: 524842字节
数据集大小: 1059650字节

配置名称: ml

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 566113字节
- dev: 1012个样本, 566113字节
下载大小: 551704字节
数据集大小: 1132226字节

配置名称: mr

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 510066字节
- dev: 1012个样本, 510066字节
下载大小: 519440字节
数据集大小: 1020132字节

配置名称: ta

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 576001字节
- dev: 1012个样本, 576001字节
下载大小: 537170字节
数据集大小: 1152002字节

配置名称: te

特征:
- target: 字符串
- source: 字符串
- translation_direction: 字符串
- lang: 字符串
分割:
- test: 1012个样本, 508060字节
- dev: 1012个样本, 508060字节
下载大小: 518266字节
数据集大小: 1016120字节

数据文件路径

配置名称: gu
- test: gu/test-*
- dev: gu/dev-*
配置名称: hi
- test: hi/test-*
- dev: hi/dev-*
配置名称: kn
- test: kn/test-*
- dev: kn/dev-*
配置名称: ml
- test: ml/test-*
- dev: ml/dev-*
配置名称: mr
- test: mr/test-*
- dev: mr/dev-*
配置名称: ta
- test: ta/test-*
- dev: ta/dev-*
配置名称: te
- test: te/test-*
- dev: te/dev-*

搜集汇总

数据集介绍

构建方式

在机器翻译领域，针对印度语言的平行语料资源相对稀缺，制约了相关技术的发展。GoogleIndicGenBench_flores_xxen_in数据集应运而生，旨在为印度诸语言与英语之间的翻译任务提供标准化评测基准。该数据集基于FLORES-101评测框架构建，覆盖古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语和泰卢固语七种印度语言。每个语言子集均包含1012条平行句对，并划分为测试集与开发集，数据规模均衡，便于公平比较模型性能。数据字段包括源语言文本、目标语言文本、翻译方向及语言标识，结构清晰，便于多方向翻译任务的统一调用。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，按语言配置名（如hi、ta）指定所需子集，并利用split参数选择测试集或开发集。数据加载后可直接映射为模型输入格式，无需额外清洗。对于微调多语言翻译模型，建议将各语言子集合并使用，以增强模型的泛化能力。评估时，可分别计算每个语言对上的BLEU或COMET分数，通过对比开发集与测试集结果衡量模型稳定性。该数据集亦适用于零样本翻译研究，通过屏蔽特定语言方向，检验模型对未见语言对的迁移表现。

背景与挑战

背景概述

在神经机器翻译领域，低资源语言与高资源语言之间的性能鸿沟一直是制约多语言翻译系统发展的核心瓶颈。GoogleIndicGenBench_flores_xxen_in数据集由Google研究团队于近年创建，聚焦于印度次大陆的七种主要语言——古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语和泰卢固语——与英语之间的翻译任务。该数据集基于FLORES评测基准构建，旨在系统评估生成式模型在印度语言上的翻译能力，每个语种均包含1012条测试样本与相同规模的开发集。通过提供标准化的双语平行语料，该数据集为研究跨语言迁移学习、多语言预训练模型的泛化表现提供了关键的评测基准，对推动南亚语言的机器翻译技术发展具有重要价值。

当前挑战

该数据集所面临的挑战首先体现在语言多样性带来的技术复杂性上：印度诸语言分属不同语系，在语法结构、形态学特征和书写系统上差异显著，例如泰米尔语等德拉维达语系语言与印地语等印欧语系语言在词序和形态丰富度上存在本质区别，这对翻译模型的跨语言泛化能力构成了严峻考验。其次，数据集构建过程中面临标注资源稀缺的困境，每个语种仅提供约2000条平行句对，有限的训练数据使得模型难以充分学习到低资源语言的复杂语言现象，容易导致过拟合或翻译质量不稳定。此外，多语言翻译方向的不对称性（如部分语言对仅包含单向翻译数据）进一步增加了模型训练的难度，如何在数据匮乏条件下实现稳健的翻译性能仍是当前研究的核心难点。

常用场景

经典使用场景

在自然语言处理领域，跨语言机器翻译一直是研究的热点与难点，尤其对于资源匮乏的印度语系语言而言。Cognitive-Lab/GoogleIndicGenBench_flores_xxen_in数据集专为评估和提升从多种印度语言到英语的翻译能力而设计，涵盖了古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语和泰卢固语等七种语言。该数据集最经典的使用场景是作为基准测试集，用于衡量神经机器翻译模型在印度语言与英语之间的翻译质量，其统一的测试和开发划分（各1012个样本）为研究者提供了标准化的评估平台，从而推动针对低资源语言的翻译技术优化。

解决学术问题

该数据集有效解决了印度语言机器翻译研究中长期存在的标准化基准缺失问题。在学术研究中，不同研究团队常因使用各异的数据集和评估协议而难以公平比较模型性能。GoogleIndicGenBench_flores_xxen_in通过提供多语言、同源且规模一致的平行语料，为低资源语言翻译的鲁棒性、泛化能力以及跨语言迁移学习等核心学术问题提供了可靠的实验基础。其意义在于促进了印度语言自然语言处理研究的可复现性和可比性，进而加速了面向南亚语言的神经翻译模型的理论创新与实证进展。

实际应用

在实际应用层面，该数据集支撑着面向印度多语言用户群体的智能翻译服务开发。印度拥有超过22种官方语言，且数字鸿沟显著，因此实现从地方语言到英语的准确翻译对于信息获取、教育普及和商业沟通至关重要。基于此数据集训练的模型可被集成到在线翻译平台、多语言客服系统以及内容本地化工具中，帮助用户跨越语言障碍，访问全球知识资源。此外，该数据集还可用于优化语音助手和实时翻译设备中的文本处理模块，提升其在印度语系上的表现，从而增强产品的包容性与用户体验。

数据集最近研究