afrizalha/KamusOne-28M-Indonesian

---
license: mit
task_categories:
- text-generation
language:
- id
size_categories:
- 100K<n<1M
---
<center>
<img src="https://imgur.com/3LOSEy4.png" alt="KamusOne" width="600" height="300">
<p><em>KamusOne (Kamus-1) is a synthethic Indonesian language dataset, generated by Mixtral8x7B.</em></p>
</center>

**About**

This dataset was generated by Mixtral 8x7B. For the procedure, Mixtral is instructed that it will act as an Indonesian language dictionary, a native Indonesian speaker, etc. and that it will explain the meaning of a series of Indonesian words. Hence, the name of the dataset ("Kamus", literally "dictionary"). Construction of the word list goes like this. First, we extracted word frequency lists from the [Indo4B dataset](https://github.com/IndoNLP/indonlu). Then, because the resulting list is big (up to millions) and has a lot of clutter, I put it against a [full list of Indonesian words](https://github.com/Hidayathamir/kata-kbbi-github).

In total, the dataset consists of 27,691,418 words.

**IMPORTANT disclaimer**

The goal of this dataset is for research, particularly to create a fluent language model based on a homogenous and low-volume dataset. It is not intended to augment existing pre-trained model. Why? Because the strength of Mixtral in Indonesian is mostly on its grammatical accuracy. However, it's not very good for tasks in Indonesian language, at least in my humble experience. Crucially, Mixtral would hallucinate the meaning of low-frequency Indonesian words (although this may be the case with other models too, like GPT-3.5). So, this is not intended for production-ready models, rather for research training purposes only.

Developers/researchers who want to make a semantically accurate model should use only the data points with 'freq'=='A' and perhaps 'freq'=='B' in the data set. The 'freq' column describes the words' frequency, classified into A-D descending in frequency.

**Creator**

By: Afrizal Hasbi Azizy

Find me: [LinkedIn](https://www.linkedin.com/in/afrizal-hasbi-azizy-182722218/)

许可证：MIT协议
任务类别：
- 文本生成
语言：
- 印尼语（代码id）
数据规模：
- 10万 < 样本量 < 100万

<center>
<img src="https://imgur.com/3LOSEy4.png" alt="KamusOne" width="600" height="300">
<p><em>KamusOne（简称Kamus-1）是由Mixtral8x7B生成的合成印尼语数据集。</em></p>
</center>

**关于本数据集**
本数据集由Mixtral 8x7B生成。在生成流程中，模型被设定为印尼语词典、母语使用者等角色，并需对一系列印尼语词汇的含义进行阐释。因此本数据集命名为"Kamus"，其字面含义为"词典"。词汇表的构建流程如下：首先从[Indo4B数据集（Indo4B dataset）](https://github.com/IndoNLP/indonlu)中提取词频列表；由于生成的列表规模庞大（可达百万级）且存在大量冗余内容，随后将其与[印尼语全词汇表（full list of Indonesian words）](https://github.com/Hidayathamir/kata-kbbi-github)进行对齐筛选。
本数据集总计包含27,691,418个词汇。

**重要免责声明**
本数据集的设计目标为科研用途，尤其适用于基于同质化、低体量数据集构建流畅语言模型的研究。本数据集并非用于对现有预训练模型进行数据增强。原因在于：Mixtral在印尼语任务上的优势主要体现在语法准确性层面，但根据笔者的实际经验，其在印尼语相关任务中的表现并不突出。尤为关键的是，Mixtral会对低频印尼语词汇的含义产生幻觉（hallucinate）（尽管其他模型如GPT-3.5也可能存在类似问题）。因此，本数据集仅适用于科研训练场景，不适用于可投入生产环境的模型开发。
若开发者或研究者希望构建语义准确的模型，应仅使用数据集中'freq'字段取值为'A'（或可选'B'）的数据样本。'freq'字段用于描述词汇的词频，按频率从高到低划分为A、B、C、D四个等级。

**创作者信息**
作者：Afrizal Hasbi Azizy
联系方式：[LinkedIn](https://www.linkedin.com/in/afrizal-hasbi-azizy-182722218/)

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 文本生成
• 语言: 印度尼西亚语
• 数据集大小: 10万<n<100万

数据集描述

• 名称: KamusOne（Kamus-1）
• 生成方式: 由Mixtral 8x7B生成，该模型被设定为印度尼西亚语言词典和本地印度尼西亚语使用者，用于解释一系列印度尼西亚词汇的含义。
• 数据构建: 首先从Indo4B数据集中提取词频列表，然后与完整的印度尼西亚词汇列表对比，以筛选和整理数据。
• 数据规模: 包含27,691,418个单词。

使用目的

• 目标用途: 主要用于研究，特别是基于同质且低容量数据集构建流利的语言模型。不建议用于增强现有预训练模型。
• 注意事项: 由于Mixtral在印度尼西亚语中的优势主要在于语法准确性，因此不适合用于印度尼西亚语任务。此外，Mixtral可能会对低频印度尼西亚词汇的意义产生幻觉。
• 数据使用建议: 开发者或研究者应仅使用数据集中freq列为A和可能的B的数据点，其中freq列描述了词汇的频率，分为A至D等级，频率递减。

创建者

• 作者: Afrizal Hasbi Azizy

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量语料库的构建是推动语言模型发展的基石。afrizalha/KamusOne-28M-Indonesian数据集专为印度尼西亚语文本生成任务而设计，其构建过程独具匠心。首先，研究者从Indo4B数据集中提取词频列表，鉴于原始列表规模庞大且包含大量噪声，进一步将其与完整的印度尼西亚语词汇表进行交叉比对以净化词库。随后，利用Mixtral 8x7B大语言模型模拟母语者角色，为筛选后的词汇逐一生成释义，从而形成一部合成词典。整个数据集共计包含27,691,418个词条，每个词条均附有频率标注（A至D级别），以反映词汇在真实语料中的出现频次。

特点

该数据集的核心特点在于其同质性与低体积的平衡设计，专为研究目的而优化，尤其适用于训练流畅的语言模型。数据集中每个词条均配备频率标签（freq列），其中A级代表高频词汇，D级为低频词汇，这一分层结构为研究者提供了灵活筛选的依据。值得注意的是，数据集明确声明不适用于增强现有预训练模型，因为Mixtral在低频词汇的语义生成上存在幻觉现象，但语法准确性表现优异。因此，该数据集更侧重于语法流畅度的提升，而非语义精度的追求，特别适合探索同质化小规模语料对模型性能的影响。

使用方法

使用该数据集时，研究者应首先根据研究目标选择数据子集。若追求语义准确性，建议仅保留频率为A级或B级的词条，而C级和D级数据可能引入不稳定的语义表现。数据加载可通过HuggingFace的datasets库直接实现，例如使用`load_dataset('afrizalha/KamusOne-28M-Indonesian')`获取完整语料，随后依据freq列进行过滤。在训练过程中，可将数据集作为文本生成任务的监督信号，但需注意其合成性质，避免直接用于生产环境。推荐将数据划分为训练集和验证集，并监控模型在低频词汇上的表现，以评估语法与语义的权衡效果。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的数据稀缺问题长期制约着语言模型的发展，尤其是印度尼西亚语这类非英语语种，其高质量、结构化的语料库尤为匮乏。afrizalha/KamusOne-28M-Indonesian数据集由研究者Afrizal Hasbi Azizy于近期创建，旨在通过合成数据途径弥补这一空白。该数据集利用Mixtral 8x7B模型生成，模拟印尼语词典释义，包含约2770万词条，词频信息源自Indo4B数据集并经印尼语完整词汇表筛选。其核心研究问题在于探索同质化、低容量数据集对流畅语言模型训练的支持能力，而非增强现有预训练模型。该数据集为印尼语自然语言处理研究提供了独特的实验基础，尤其适用于语法准确性要求较高的文本生成任务。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，印尼语作为低资源语言，现有模型在语义理解上存在显著不足，尤其是低频词汇的释义易出现幻觉现象，Mixtral 8x7B虽具备语法优势，但语义准确性仍待验证，这制约了数据集在真实场景中的泛化能力。其次，在构建过程中，词频列表提取自Indo4B后需与完整词汇表对齐，数据清洗与去噪工作量大，且最终数据集中高频与低频词分布极不均衡，仅建议使用‘freq’为‘A’或‘B’的词条以保证语义可靠，这大幅缩减了有效数据规模。此外，数据集为纯合成性质，缺乏人工标注验证，其内在偏差可能影响下游模型的鲁棒性。

常用场景

经典使用场景

KamusOne-28M-Indonesian 数据集作为首个大规模合成印尼语词典语料，其经典使用场景在于构建流畅且语法精准的印尼语语言模型。研究者可借助该数据集中频率标注为'A'和'B'的高频词条，训练专注于语义理解的小型化同质模型，避免预训练大模型在低频词上的幻觉问题。该数据集尤其适用于低资源语言场景下的学术探索，为印尼语自然语言处理提供纯净、可控的训练基础。

衍生相关工作

该数据集衍生了若干重要研究方向：包括基于词频分层的语言模型微调策略、合成数据在低资源语言中的去偏方法，以及Mixtral模型在印尼语上的幻觉量化分析。后续工作可借鉴其数据构建流程，将合成词典与真实语料结合，开发混合训练范式以平衡模型流畅性与语义准确性，推动印尼语乃至其他低资源语言的自然语言处理前沿探索。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的语料库建设始终是推动语言模型发展的关键瓶颈。KamusOne-28M-Indonesian数据集的出现，为印度尼西亚语的研究开辟了新的路径。该数据集由Mixtral 8x7B模型生成，包含超过2700万个合成词条，专注于构建语法流畅且语义准确的印尼语生成模型。其独特之处在于，研究者通过词频分级（A-D）提供了可控的数据质量筛选机制，使得模型训练能够聚焦于高频词汇，从而有效减少模型对低频词汇的幻觉问题。这一设计理念与当前大语言模型在低资源语言上的微调与对齐研究高度契合，尤其适用于探索同质化小规模数据集对语言模型流畅性的影响。KamusOne的发布不仅填补了印尼语合成语料库的空白，也为其他低资源语言的类似研究提供了可复现的方法论参考，具有重要的学术价值与实践意义。