大模型语料

用于训练大规模的文本、图片、视频等数据集合。（1）通用文本数据集：微信公众号、百度百科、知乎、CSDN等网页常见的文本数据。
（2）音频文本对数据集：普通话数据成品库（训练语音识别模型）。
（3）OCR数据集：数据涵盖中文手写、中文文档、中文试卷、盖章图片、中文表格、图表图片、中英文证照/票据类图片等

A large-scale dataset collection for training models on text, image, video and other modalities.
(1) General Text Dataset: Common web text data sourced from platforms including WeChat Official Accounts, Baidu Encyclopedia, Zhihu, CSDN and other similar platforms.
(2) Audio-Text Pair Dataset: Standard Mandarin audio-text paired corpus for training speech recognition models.
(3) OCR Dataset: The dataset covers various image types including Chinese handwritten texts, Chinese documents, Chinese test papers, stamped images, Chinese tables, chart images, and Chinese-English certificates and invoice images.

搜集汇总

背景与挑战

背景概述

该数据集包含通用文本、音频文本对和OCR三类数据，适用于大规模模型训练，由北京智汇启明科技有限公司提供。