krishnAbadikelA/massive-unseen-ipa-romanized

---
dataset_info:
- config_name: ar-SA
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype: string
- name: intent
dtype: int64
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
list:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
list:
- name: worker_id
dtype: string
- name: intent_score
dtype: int64
- name: slots_score
dtype: int64
- name: grammar_score
dtype: int64
- name: spelling_score
dtype: int64
- name: language_identification
dtype: string
- name: ipa_stripped
dtype: string
- name: romanized
dtype: string
splits:
- name: train
num_bytes: 4881005
num_examples: 11514
- name: validation
num_bytes: 856514
num_examples: 2033
- name: test
num_bytes: 1250080
num_examples: 2974
download_size: 1896874
dataset_size: 6987599
- config_name: bn-BD
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype: string
- name: intent
dtype: int64
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
list:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
list:
- name: worker_id
dtype: string
- name: intent_score
dtype: int64
- name: slots_score
dtype: int64
- name: grammar_score
dtype: int64
- name: spelling_score
dtype: int64
- name: language_identification
dtype: string
- name: ipa_stripped
dtype: string
- name: romanized
dtype: string
splits:
- name: train
num_bytes: 6250519
num_examples: 11514
- name: validation
num_bytes: 1091337
num_examples: 2033
- name: test
num_bytes: 1595870
num_examples: 2974
download_size: 2305735
dataset_size: 8937726
- config_name: el-GR
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype: string
- name: intent
dtype: int64
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
list:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
list:
- name: worker_id
dtype: string
- name: intent_score
dtype: int64
- name: slots_score
dtype: int64
- name: grammar_score
dtype: int64
- name: spelling_score
dtype: int64
- name: language_identification
dtype: string
- name: ipa_stripped
dtype: string
- name: romanized
dtype: string
splits:
- name: train
num_bytes: 5715487
num_examples: 11514
- name: validation
num_bytes: 1001581
num_examples: 2033
- name: test
num_bytes: 1451794
num_examples: 2974
download_size: 2255409
dataset_size: 8168862
- config_name: fr-FR
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype: string
- name: intent
dtype: int64
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
list:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
list:
- name: worker_id
dtype: string
- name: intent_score
dtype: int64
- name: slots_score
dtype: int64
- name: grammar_score
dtype: int64
- name: spelling_score
dtype: int64
- name: language_identification
dtype: string
- name: ipa_stripped
dtype: string
- name: romanized
dtype: string
splits:
- name: train
num_bytes: 5018560
num_examples: 11514
- name: validation
num_bytes: 877753
num_examples: 2033
- name: test
num_bytes: 1282387
num_examples: 2974
download_size: 1943438
dataset_size: 7178700
- config_name: zh-CN
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype: string
- name: intent
dtype: int64
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
list:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
list:
- name: worker_id
dtype: string
- name: intent_score
dtype: int64
- name: slots_score
dtype: int64
- name: grammar_score
dtype: int64
- name: spelling_score
dtype: int64
- name: language_identification
dtype: string
- name: ipa_stripped
dtype: string
- name: romanized
dtype: string
splits:
- name: train
num_bytes: 4789005
num_examples: 11514
- name: validation
num_bytes: 838137
num_examples: 2033
- name: test
num_bytes: 1223819
num_examples: 2974
download_size: 1751762
dataset_size: 6850961
configs:
- config_name: ar-SA
data_files:
- split: train
path: ar-SA/train-*
- split: validation
path: ar-SA/validation-*
- split: test
path: ar-SA/test-*
- config_name: bn-BD
data_files:
- split: train
path: bn-BD/train-*
- split: validation
path: bn-BD/validation-*
- split: test
path: bn-BD/test-*
- config_name: el-GR
data_files:
- split: train
path: el-GR/train-*
- split: validation
path: el-GR/validation-*
- split: test
path: el-GR/test-*
- config_name: fr-FR
data_files:
- split: train
path: fr-FR/train-*
- split: validation
path: fr-FR/validation-*
- split: test
path: fr-FR/test-*
- config_name: zh-CN
data_files:
- split: train
path: zh-CN/train-*
- split: validation
path: zh-CN/validation-*
- split: test
path: zh-CN/test-*
---

数据集信息：
- 配置名称：阿拉伯语（沙特阿拉伯，ar-SA）
特征字段：
- 标识符（id）：数据类型为字符串（string）
- 语言区域（locale）：数据类型为字符串（string）
- 数据分区（partition）：数据类型为字符串（string）
- 应用场景（scenario）：数据类型为字符串（string）
- 意图（intent）：数据类型为64位整数（int64）
- 用户话语（utt）：数据类型为字符串（string）
- 标注用户话语（annot_utt）：数据类型为字符串（string）
- 标注人员ID（worker_id）：数据类型为字符串（string）
- 槽位与方法列表（slot_method）：包含两个子字段：
- 槽位（slot）：数据类型为字符串（string）
- 标注方法（method）：数据类型为字符串（string）
- 标注评审列表（judgments）：包含六个子字段：
- 评审人员ID（worker_id）：数据类型为字符串（string）
- 意图评分（intent_score）：数据类型为64位整数（int64）
- 槽位评分（slots_score）：数据类型为64位整数（int64）
- 语法评分（grammar_score）：数据类型为64位整数（int64）
- 拼写评分（spelling_score）：数据类型为64位整数（int64）
- 语言识别结果（language_identification）：数据类型为字符串（string）
- 去除国际音标后的文本（ipa_stripped）：数据类型为字符串（string）
- 罗马音转写文本（romanized）：数据类型为字符串（string）
数据集划分：
- 训练集（train）：数据字节数4881005，样本量11514
- 验证集（validation）：数据字节数856514，样本量2033
- 测试集（test）：数据字节数1250080，样本量2974
下载大小：1896874，数据集总大小：6987599
- 配置名称：孟加拉语（孟加拉国，bn-BD）
特征字段：
- 标识符（id）：数据类型为字符串（string）
- 语言区域（locale）：数据类型为字符串（string）
- 数据分区（partition）：数据类型为字符串（string）
- 应用场景（scenario）：数据类型为字符串（string）
- 意图（intent）：数据类型为64位整数（int64）
- 用户话语（utt）：数据类型为字符串（string）
- 标注用户话语（annot_utt）：数据类型为字符串（string）
- 标注人员ID（worker_id）：数据类型为字符串（string）
- 槽位与方法列表（slot_method）：包含两个子字段：
- 槽位（slot）：数据类型为字符串（string）
- 标注方法（method）：数据类型为字符串（string）
- 标注评审列表（judgments）：包含六个子字段：
- 评审人员ID（worker_id）：数据类型为字符串（string）
- 意图评分（intent_score）：数据类型为64位整数（int64）
- 槽位评分（slots_score）：数据类型为64位整数（int64）
- 语法评分（grammar_score）：数据类型为64位整数（int64）
- 拼写评分（spelling_score）：数据类型为64位整数（int64）
- 语言识别结果（language_identification）：数据类型为字符串（string）
- 去除国际音标后的文本（ipa_stripped）：数据类型为字符串（string）
- 罗马音转写文本（romanized）：数据类型为字符串（string）
数据集划分：
- 训练集（train）：数据字节数6250519，样本量11514
- 验证集（validation）：数据字节数1091337，样本量2033
- 测试集（test）：数据字节数1595870，样本量2974
下载大小：2305735，数据集总大小：8937726
- 配置名称：希腊语（希腊，el-GR）
特征字段：
- 标识符（id）：数据类型为字符串（string）
- 语言区域（locale）：数据类型为字符串（string）
- 数据分区（partition）：数据类型为字符串（string）
- 应用场景（scenario）：数据类型为字符串（string）
- 意图（intent）：数据类型为64位整数（int64）
- 用户话语（utt）：数据类型为字符串（string）
- 标注用户话语（annot_utt）：数据类型为字符串（string）
- 标注人员ID（worker_id）：数据类型为字符串（string）
- 槽位与方法列表（slot_method）：包含两个子字段：
- 槽位（slot）：数据类型为字符串（string）
- 标注方法（method）：数据类型为字符串（string）
- 标注评审列表（judgments）：包含六个子字段：
- 评审人员ID（worker_id）：数据类型为字符串（string）
- 意图评分（intent_score）：数据类型为64位整数（int64）
- 槽位评分（slots_score）：数据类型为64位整数（int64）
- 语法评分（grammar_score）：数据类型为64位整数（int64）
- 拼写评分（spelling_score）：数据类型为64位整数（int64）
- 语言识别结果（language_identification）：数据类型为字符串（string）
- 去除国际音标后的文本（ipa_stripped）：数据类型为字符串（string）
- 罗马音转写文本（romanized）：数据类型为字符串（string）
数据集划分：
- 训练集（train）：数据字节数5715487，样本量11514
- 验证集（validation）：数据字节数1001581，样本量2033
- 测试集（test）：数据字节数1451794，样本量2974
下载大小：2255409，数据集总大小：8168862
- 配置名称：法语（法国，fr-FR）
特征字段：
- 标识符（id）：数据类型为字符串（string）
- 语言区域（locale）：数据类型为字符串（string）
- 数据分区（partition）：数据类型为字符串（string）
- 应用场景（scenario）：数据类型为字符串（string）
- 意图（intent）：数据类型为64位整数（int64）
- 用户话语（utt）：数据类型为字符串（string）
- 标注用户话语（annot_utt）：数据类型为字符串（string）
- 标注人员ID（worker_id）：数据类型为字符串（string）
- 槽位与方法列表（slot_method）：包含两个子字段：
- 槽位（slot）：数据类型为字符串（string）
- 标注方法（method）：数据类型为字符串（string）
- 标注评审列表（judgments）：包含六个子字段：
- 评审人员ID（worker_id）：数据类型为字符串（string）
- 意图评分（intent_score）：数据类型为64位整数（int64）
- 槽位评分（slots_score）：数据类型为64位整数（int64）
- 语法评分（grammar_score）：数据类型为64位整数（int64）
- 拼写评分（spelling_score）：数据类型为64位整数（int64）
- 语言识别结果（language_identification）：数据类型为字符串（string）
- 去除国际音标后的文本（ipa_stripped）：数据类型为字符串（string）
- 罗马音转写文本（romanized）：数据类型为字符串（string）
数据集划分：
- 训练集（train）：数据字节数5018560，样本量11514
- 验证集（validation）：数据字节数877753，样本量2033
- 测试集（test）：数据字节数1282387，样本量2974
下载大小：1943438，数据集总大小：7178700
- 配置名称：简体中文（中国大陆，zh-CN）
特征字段：
- 标识符（id）：数据类型为字符串（string）
- 语言区域（locale）：数据类型为字符串（string）
- 数据分区（partition）：数据类型为字符串（string）
- 应用场景（scenario）：数据类型为字符串（string）
- 意图（intent）：数据类型为64位整数（int64）
- 用户话语（utt）：数据类型为字符串（string）
- 标注用户话语（annot_utt）：数据类型为字符串（string）
- 标注人员ID（worker_id）：数据类型为字符串（string）
- 槽位与方法列表（slot_method）：包含两个子字段：
- 槽位（slot）：数据类型为字符串（string）
- 标注方法（method）：数据类型为字符串（string）
- 标注评审列表（judgments）：包含六个子字段：
- 评审人员ID（worker_id）：数据类型为字符串（string）
- 意图评分（intent_score）：数据类型为64位整数（int64）
- 槽位评分（slots_score）：数据类型为64位整数（int64）
- 语法评分（grammar_score）：数据类型为64位整数（int64）
- 拼写评分（spelling_score）：数据类型为64位整数（int64）
- 语言识别结果（language_identification）：数据类型为字符串（string）
- 去除国际音标后的文本（ipa_stripped）：数据类型为字符串（string）
- 罗马音转写文本（romanized）：数据类型为字符串（string）
数据集划分：
- 训练集（train）：数据字节数4789005，样本量11514
- 验证集（validation）：数据字节数838137，样本量2033
- 测试集（test）：数据字节数1223819，样本量2974
下载大小：1751762，数据集总大小：6850961
配置项：
- 配置名称：ar-SA，数据文件路径：
- 训练集（train）：对应路径ar-SA/train-*
- 验证集（validation）：对应路径ar-SA/validation-*
- 测试集（test）：对应路径ar-SA/test-*
- 配置名称：bn-BD，数据文件路径：
- 训练集（train）：对应路径bn-BD/train-*
- 验证集（validation）：对应路径bn-BD/validation-*
- 测试集（test）：对应路径bn-BD/test-*
- 配置名称：el-GR，数据文件路径：
- 训练集（train）：对应路径el-GR/train-*
- 验证集（validation）：对应路径el-GR/validation-*
- 测试集（test）：对应路径el-GR/test-*
- 配置名称：fr-FR，数据文件路径：
- 训练集（train）：对应路径fr-FR/train-*
- 验证集（validation）：对应路径fr-FR/validation-*
- 测试集（test）：对应路径fr-FR/test-*
- 配置名称：zh-CN，数据文件路径：
- 训练集（train）：对应路径zh-CN/train-*
- 验证集（validation）：对应路径zh-CN/validation-*
- 测试集（test）：对应路径zh-CN/test-*