malaysia-ai/mosaic-combine-all

该存储库用于使用Mosaic格式存储数据集分片，以便训练马来西亚的大语言模型（LLM）。数据集准备过程在特定GitHub链接中描述，使用了特定的BPE tokenizer，并且上下文长度为4096。

原始信息汇总

数据集概述

数据集描述

• 名称: mosaic-combine-all
• 语言: 马来语 (ms)
• 格式: 马赛克格式
• 目的: 用于训练马来西亚的大型语言模型 (LLM)

数据集准备

• 准备脚本: combine-all.ipynb
• 分词器: bpe-tokenizer
• 上下文长度: 4096

使用方法

1. 克隆数据集: bash git lfs clone https://huggingface.co/datasets/malaysia-ai/mosaic-combine-all

2. 加载数据集: python from streaming import LocalDataset import numpy as np from streaming.base.format.mds.encodings import Encoding, _encodings

   class UInt16(Encoding): def encode(self, obj) -> bytes: return obj.tobytes()

    def decode(self, data: bytes):
        return np.frombuffer(data, np.uint16)
   

   _encodings[uint16] = UInt16

   dataset = LocalDataset(mosaic-combine-all) len(dataset)

搜集汇总

数据集介绍

构建方式

在马来西亚语大语言模型（LLM）的训练进程中，数据集的构建是奠定模型性能的基石。malaysia-ai/mosaic-combine-all 数据集采用了一种名为“马赛克格式”（Mosaic format）的独特方式，将多个来源的文本数据整合为统一的训练语料。该数据集通过 GitHub 上的预处理流程（dedup-text-dataset 仓库中的 combine-all.ipynb）进行数据清洗与去重，并利用 malaysia-ai/bpe-tokenizer 分词器对文本进行编码。所有样本被统一为 4096 的上下文长度，以确保模型在训练时能够处理固定长度的序列，从而提升训练效率与稳定性。

特点

该数据集的核心特点在于其高度整合性与标准化设计。通过马赛克格式，它能够将来自不同数据源的马来西亚语文本无缝融合，形成一个大规模、多样化的预训练语料库。每个数据分片（shard）均采用统一的编码结构，支持高效的流式加载，极大降低了内存占用。此外，数据集内置了自定义的 uint16 编码类型，用于存储紧凑的数值特征，使得数据在存储与传输过程中更加轻量级。这种设计不仅优化了训练流程，还增强了数据集的可扩展性与复用性。

使用方法

使用该数据集时，开发者需首先通过 Git LFS 克隆仓库（git lfs clone https://huggingface.co/datasets/malaysia-ai/mosaic-combine-all）。随后，在 Python 环境中利用 streaming 库中的 LocalDataset 类进行加载。由于数据集采用了自定义的 uint16 编码，加载前需注册该编码类型：定义一个继承自 Encoding 的 UInt16 类，实现 encode 与 decode 方法，并将其添加至 _encodings 字典中。完成编码注册后，即可像操作普通数据集一样，通过 len(dataset) 获取样本数量，并迭代访问每个训练样本。

背景与挑战

背景概述

在自然语言处理领域，大规模预训练语言模型的发展高度依赖高质量、多源融合的语料库。马来西亚人工智能社区（malaysia-ai）于近期构建了mosaic-combine-all数据集，旨在为马来语大型语言模型（LLM）的训练提供统一的预处理语料。该数据集由马来西亚本土研究团队主导，核心研究问题聚焦于如何高效整合分散的马来语文本资源，以克服低资源语言在预训练阶段的数据稀缺瓶颈。通过采用mosaic格式存储数据分片，并基于专用的bpe-tokenizer分词器处理4096上下文长度，该数据集为马来语LLM的研发奠定了坚实基础，对推动东南亚地区语言模型的本地化发展具有重要影响力。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，马来语作为低资源语言，现有公开语料规模有限且来源分散，如何从异构数据中提取高质量、多样化的文本以支撑大模型预训练，是亟待解决的难题。其次，在构建过程中，团队需应对数据去重与格式统一的复杂性，例如通过dedup-text-dataset项目实现高效去重，同时将不同来源的语料转换为兼容mosaic格式的标准化分片。此外，由于采用自定义uint16编码和流式加载方式，确保数据在训练框架中的正确解析与高效读取，也构成了技术实现上的关键挑战。

常用场景

经典使用场景

该数据集以马赛克格式整合了多种马来语文本资源，专为训练马来西亚大语言模型而设计。其经典使用场景在于为预训练阶段提供高质量、去重且统一编码的语料库，支持4096上下文长度的序列建模。研究者可直接通过流式加载方式高效获取数据，用于构建马来语基础语言模型，尤其适用于低资源语言场景下的自监督学习任务。

衍生相关工作

该数据集衍生了多项重要工作，包括基于BPE分词器的马来语词表优化研究、结合马赛克格式的高效数据预处理流水线（如GitHub仓库中的去重与合并脚本）。后续工作还探索了在此数据集上训练的马来语大模型在下游任务中的迁移学习能力，并推动了马来语多任务学习基准的建立，为东南亚语言资源建设提供了范式参考。

数据集最近研究

最新研究方向

该数据集聚焦于马来西亚语大语言模型的预训练数据整合，采用Mosaic格式将多个来源的文本数据统一编码，以支持低资源语言的自然语言处理研究。当前前沿方向包括利用BPE分词器与4096上下文长度优化模型训练效率，同时结合去重技术提升数据质量。这一工作呼应了东南亚语言AI发展的热点，尤其是针对马来语等小语种的模型能力突破，为构建区域性多语言基础模型提供了标准化数据基座，对推动数字包容性与本地化AI应用具有深远意义。