lang-uk/malyuk

Malyuk是一个乌克兰语的文本数据集，包含超过100亿字符，但少于1000亿字符。数据集由UberText 2.0、Oscar和Ukrainian News三个子数据集组合而成，总共有113GB的文本数据，包含38941863篇文章。数据集的目的是为了简化乌克兰语言的大型语言模型（LLM）的训练。

---
语言：
- 乌克兰语
规模类别：
- 100亿 < 数据总量 < 1000亿
配置项：
- 配置名称：默认
数据文件：
- 拆分方式：训练集
路径：data/train-*
数据集信息：
特征：
- 字段名：id
数据类型：字符串
- 字段名：compound_id
数据类型：字符串
- 字段名：text
数据类型：字符串
拆分详情：
- 拆分方式：训练集
字节数：118180394141
样本数量：38941863
下载总大小：57328717488
数据集总大小：118180394141
---

## 马柳克（Malyuk，国际音标：[mɐˈlʲuk]）

组合语料库来源包括：[UberText 2.0](https://lang.org.ua/en/ubertext/)、[Oscar](https://huggingface.co/datasets/oscar)（oscar v1.0，unshuffled_deduplicated_uk）、[乌克兰新闻数据集](https://huggingface.co/datasets/zeusfsx/ukrainian-news)

本数据集绝非任何官方机构发布的资源，仅为本人为简化乌克兰语大语言模型（Large Language Model）的训练流程而整理的汇编合集。本数据集不提供任何质量保证，亦不受理任何支持请求。
* 包含113GB的JSON Lines格式文本数据
* 总计38941863篇文章


本数据集的预处理脚本可在[此处](https://github.com/lang-uk/ukrainian-wechsel-models/blob/main/aux/)获取。

原始信息汇总

数据集概述

数据集名称

Malyuk

数据集语言

乌克兰语（uk）

数据集大小

• 数据量：113GB
• 文章数量：38,941,863篇

数据集组成

• UberText 2.0
• Oscar
• Ukrainian News

数据格式

文本格式：jsonl

数据集用途

用于简化乌克兰语言大型模型（LLM）的训练。