dafun/open-web-math-clean

该数据集是从OpenWebMath数据集衍生而来，经过清理了约1.65百万个乱码和非数学相关的文档，专注于提供数学相关的内容。

原始信息汇总

数据集概述

数据来源

• 该数据集源自OpenWebMath。

数据处理

• 经过清理约165万份乱码和非数学相关文档后得到。

许可证

• 数据集遵循ODC-BY许可证。

搜集汇总

背景与挑战

背景概述

该数据集是从 OpenWebMath 清理而来的数学相关网页文档集合，专注于移除乱码和非数学内容，保留了约 165 万条高质量数学文档。数据包含 url、文本、日期和元数据字段，其中元数据详细标注了数学内容的表示形式（如 LaTeX、图像数学等），适用于数学语言模型训练或数学信息提取研究。数据集总大小为 15.2 GB，采用 ODC-BY 许可证。