taufiqdp/Indo4B

Name: taufiqdp/Indo4B
Creator: taufiqdp
Published: 2024-01-23 03:21:18
License: 暂无描述

Hugging Face2024-01-23 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/taufiqdp/Indo4B

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

taufiqdp

原始信息汇总

数据集许可证

许可证类型: MIT

Indo4B

Indo4B是一个大规模的印尼语数据集，由印度尼西亚技术学院创建，旨在支持印尼自然语言理解（IndoNLU）的研究。该数据集包含约40亿个单词，覆盖了从社交媒体文本、博客、新闻到网站等多种公开可用来源。数据集的创建过程涉及从多个现有工作中收集数据，并标准化以确保可重复性。Indo4B的应用领域广泛，包括单句分类到对句序列标记等多种复杂度不同的任务，旨在解决印尼语在自然语言处理领域的资源稀缺问题。

arXiv2020-10-08 更新100

SEACrowd/indo4b

Indo4B是一个大规模的印尼语自监督预训练语料库，包含约36亿单词和2.5亿句子。该语料库涵盖了正式和非正式的印尼语句子，来源于12个不同的数据源，其中两个主要包含印尼语的非正式用法，八个包含正式印尼语，其余则混合了正式和非正式用法。

Hugging Face2024-06-24 更新170

taufiqdp/Indo4B-hf

--- license: mit dataset_info: features: - name: text dtype: string splits: - name: jw300 num_bytes: 54539911 num_examples: 9108 - name: oscar_all_uncased num_bytes: 16148605

Hugging Face2024-01-23 更新140

indo4b

IndoNLU数据集是一个用于评估印尼语自然语言理解的任务的数据集，包含用于特征提取的语料，大小在100M到1B之间。

Hugging Face2025-05-26 更新270

taufiqdp/Indo4B-Plus

--- language: - id license: mit ---

Hugging Face2024-03-13 更新80