almaghrabima/deeplatent-pretraining-data

---
license: cc-by-nc-4.0
language:
- en
- ar
size_categories:
- 100M<n<1B
task_categories:
- text-generation
---

# DeepLatent Pretraining Data

Combined English and Arabic pretraining data for DeepLatent language models.

## Dataset Statistics

| Language | Rows |
|----------|------|
| English | 40,182,085 |
| Arabic | 91,363,714 |
| **Total** | **131,545,799** |

## Schema

- `text` (string): The document text
- `language` (string): Language code ('en' or 'ar')

## Data Sources

- **English**: FineWeb-Edu sample
- **Arabic**: Deduplicated Arabic web corpus

## Usage

```python
from datasets import load_dataset

# Load full dataset
dataset = load_dataset("almaghrabima/deeplatent-pretraining-data")

# Load specific language
english = dataset.filter(lambda x: x['language'] == 'en')
arabic = dataset.filter(lambda x: x['language'] == 'ar')
```

## License

cc-by-nc-4.0

---
许可证：CC BY-NC 4.0
语言：
- 英语（en）
- 阿拉伯语（ar）
规模类别：
- 1亿 < 样本量 < 10亿
任务类别：
- 文本生成
---

# DeepLatent 预训练数据集
面向DeepLatent语言模型构建的英语与阿拉伯语双语预训练数据。

## 数据集统计信息
| 语言 | 样本条目数 |
|----------|------|
| 英语 | 40,182,085 |
| 阿拉伯语 | 91,363,714 |
| **总计** | **131,545,799** |

## 数据结构
- `text`（字符串类型）：文档文本
- `language`（字符串类型）：语言代码（取值为'en'或'ar'）

## 数据来源
- **英语数据**：FineWeb-Edu采样子集
- **阿拉伯语数据**：去重阿拉伯语网页语料库

## 使用方法
python
from datasets import load_dataset

# 加载完整数据集
dataset = load_dataset("almaghrabima/deeplatent-pretraining-data")

# 加载特定语言数据集
english = dataset.filter(lambda x: x['language'] == 'en')
arabic = dataset.filter(lambda x: x['language'] == 'ar')

## 许可证
CC BY-NC 4.0