taufiqdp/Indo4B-Plus

Name: taufiqdp/Indo4B-Plus
Creator: taufiqdp
Published: 2024-03-13 07:19:16
License: 暂无描述

Hugging Face2024-03-13 更新2024-06-22 收录

下载链接：

https://hf-mirror.com/datasets/taufiqdp/Indo4B-Plus

下载链接

链接失效反馈

官方服务：

资源简介：

--- language: - id license: mit ---

提供机构：

taufiqdp

原始信息汇总

数据集概述

语言

印尼语（id）

许可证

MIT许可证

Indo4B-Plus

Indo4B-Plus是一个包含印尼语、爪哇语和巽他语的大型预训练数据集，由香港科技大学等机构创建。该数据集主要用于自然语言生成模型的预训练，涵盖了超过36亿个单词，数据来源于维基百科和Common Crawl等。创建过程包括数据收集、预处理和平衡，旨在解决低资源语言的自然语言生成问题，特别是在印尼语、爪哇语和巽他语等广泛使用的语言中。

arXiv2021-10-10 更新100

taufiqdp/Indo4B-hf

--- license: mit dataset_info: features: - name: text dtype: string splits: - name: jw300 num_bytes: 54539911 num_examples: 9108 - name: oscar_all_uncased num_bytes: 16148605

Hugging Face2024-01-23 更新140

SEACrowd/indo4b_plus

Indo4B Plus是Indo4B的扩展版本，它是一个大规模的印度尼西亚自监督预训练语料库。Indo4B Plus通过向语料库中添加两种低资源的印度尼西亚本地语言（巽他语和爪哇语）来扩展Indo4B。具体来说，Indo4B Plus增加了82,582,025个巽他语句子（约2.07%）和331,041,877个爪哇语句子（约8.29%）。

Hugging Face2024-06-24 更新160

taufiqdp/Indo4B

--- license: mit ---

Hugging Face2024-01-23 更新40

taufiqdp/indo-senti-clean

--- license: mit dataset_info: features: - name: text dtype: string - name: label dtype: class_label: names: 0: 'negative' 1: 'neutral' 2: 'po

Hugging Face2024-03-13 更新80