Non-STEM_TextBook_Bahasa

The full corpus is curated across multiple STEM disciplines and structured for use in LLM training, evaluation, and instruction tuning (SFT/RLHF). This sample represents the structure and quality of the larger dataset. 

Dataset composition (full corpus):

Text corpus: 1.6B+ words of curated STEM and Non-STEM educational content across 22,000+ textbooks in 7 languages (English, Hindi, Arabic, Bahasa, Tamil, Telugu, Kannada)

Question–Answer pairs: 6.5M+ high-quality Q&A pairs of STEM and Non-STEM content in English, Arabic, Hindi, and Indic languages

Video data: 100K+ hours of STEM videos and 30K+ hours of UGC

Audio data: 821K+ hours of podcasts and dual-channel call center data

Medical datasets: 30M+ files including clinical and diagnostic data such as CT scans, MRI, X-ray, pathology, EHRs, USG reports, and echo reports

This repository includes:

A small preview subset of the Non-STEM Bahasa TextBook data

Flat, viewer-friendly schema for inspection

Parquet files suitable for benchmarking and evaluation

Purpose of this dataset:

Dataset preview and validation

Model evaluation and experimentation

Schema and format inspection before full-scale access

Note: This repository contains sample data only. Access to the complete dataset is available separately under appropriate licensing or partnership terms.For detailed information and domain-specific requirements, please reach out to [e-mail]

完整语料库跨多门科学、技术、工程与数学（STEM, Science, Technology, Engineering, Mathematics）学科领域进行精选整合，结构设计适配大语言模型（LLM, Large Language Model）的训练、评估与指令微调（监督微调SFT/人类反馈强化学习RLHF）。本次展示的样本可体现该大型数据集的整体架构与数据质量水准。

数据集构成（完整语料库）：
文本语料库：涵盖7种语言（英语、印地语、阿拉伯语、印尼语、泰米尔语、泰卢固语、卡纳达语）的2.2万余册教材中的精选STEM与非STEM教育内容，总字数超16亿词。
问答对数据集：包含英语、阿拉伯语、印地语及印度语系语言的STEM与非STEM领域优质问答对超650万组。
视频数据集：包含超10万小时的STEM教学视频与超3万小时的用户生成内容（UGC, User-Generated Content）。
音频数据集：包含超82.1万小时的播客内容与双通道呼叫中心语音数据。
医疗数据集：包含超3000万份文件，涵盖临床与诊断类数据，如CT扫描影像、磁共振成像（MRI, Magnetic Resonance Imaging）、X光片、病理报告、电子健康档案（EHRs, Electronic Health Records）、超声检查报告与超声心动图报告。

本数据集仓库包含：
1. 非STEM领域印尼语教材的小型预览子集
2. 扁平化、便于阅览的数据集架构，用于数据检视
3. 适配基准测试与模型评估的Parquet格式文件

本数据集的应用场景：
1. 数据集预览与有效性验证
2. 模型评估与实验研究
3. 全量数据集获取前的架构与格式检视

注意：本仓库仅包含示例数据。完整数据集需通过合规授权或合作协议单独获取。如需了解详细信息或特定领域使用要求，请联系[e-mail]