bot-yaya/undl_en2zh_translation

该数据集是一个全量英文段落到中文段落的翻译数据集，基于翻译和最长公共子序列对齐方法创建。使用了argostranslate作为翻译工具，并利用了Google云虚拟机、Google Colab、Google Cloud Shell以及本地计算机的CPU和显卡资源，共计运行了一周时间完成。数据集包含训练集，共有165,840个示例，总大小为12,473,072,134字节。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • clean_en: 英文文本序列
  • clean_zh: 中文文本序列
  • record: 字符串类型
  • en2zh: 文本序列
• 拆分:
  • train: 训练集，包含165840个样本，总字节数为12473072134
• 大小:
  • 下载大小: 6289516266字节
  • 数据集大小: 12473072134字节

配置

• 默认配置:
  • 数据文件路径: data/train-*