mesolitica/chatgpt-malaysian-open-qa

Synthetic Malaysian Open QA是一个问答数据集，使用ChatGPT3.5在MS Wikipedia、MS Common Crawl和Malaysia Hansard上生成。数据集包含三个文件：common-crawl-qa.jsonl（69,829行，291 MB）、hansard-qa.jsonl（42,368行，344 MB）和wikipedia-qa.jsonl（44,923行，238 MB）。数据示例展示了包含段落和问答对的数据格式，问答对涉及马来西亚不同地点的信息。

合成式马来西亚开放问答（Synthetic Malaysian Open QA）是一款问答类数据集，通过ChatGPT 3.5基于MS 维基百科（MS Wikipedia）、MS 通用爬虫数据集（MS Common Crawl）与马来西亚议会辩论实录（Malaysia Hansard）三大数据源生成。该数据集共包含三个数据文件：common-crawl-qa.jsonl（69,829行，291 MB）、hansard-qa.jsonl（42,368行，344 MB）以及wikipedia-qa.jsonl（44,923行，238 MB）。数据集配套提供数据示例，可直观展示包含段落与问答对的数据格式，其中问答对内容均围绕马来西亚境内各类地点的相关信息展开。

原始信息汇总

Synthetic Malaysian Open QA

数据集概述

• 任务类别: 问答 (question-answering)
• 语言: 马来语 (ms)
• 名称: synthetic-malaysian-open-qa

数据来源

• 数据集由ChatGPT3.5生成，基于以下资源：
  • MS Wikipedia
  • MS Common Crawl
  • Malaysia Hansard

数据文件

• common-crawl-qa.jsonl: 69829行，291 MB
• hansard-qa.jsonl: 42368行，344 MB
• wikipedia-qa.jsonl: 44923行，238 MB

示例数据

python {paragraph: "PANDAN JAYA SITI AISHAH KUALA LUMPUR SUHANI KUALA LUMPUR SUMI BANDAR TUN RAZAK SYAHIDA TAMAN SEPAKAT (AU 3) Pantai Dalam, (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SULAIMAN JALAN BANGSAR Setapak (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) INTAN NOOR SETAPAK LAN JANGGUT JALAN REJANG NAZ WANGSA MAJU (SEKSYEN 1 - 10) SARAZIAH JALAN LANGKAWI Setapak Jaya (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) DILA TAMAN SERI RAMPAI RAFIZAH MUTHALIP JALAN REJANG Sg Besi (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) YASMINRAMZI JALAN LANDAI PERMAI Sri Petaling (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HAIZUL JON BANDAR BARU SERI PETALING + Melaka (23) Nama Lokasi Alor Gajah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SHAH ALOR GAJAH Bukit Katil (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HASIMAH SAHMAT BUKIT KATIL Jasin (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HANIM MADEL BEMBAN (PEKAN) Kuala Sungai Baru (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MIRA BADRUL KUALA SUNGAI BARU Lubok China (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) OZZY KAMPUNG RAMUAN CHINA KECHIL Masjid Tanah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NURHANUM NORDIN TAMAN BANDAR BARU SNZL MASJID TANAH IRMAYANA (EMA) TAMAN BIDARA PERMAI Melaka (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) AZIMAH HUSSAIN LORONG PANDAN AFIY TAMAN KENANGA (SEKSYEN 1) IZA SURYANI MELAKA KHALIDAH IDAH BALIK BATU MAZIDA SIRAN JALAN PERMATANG PASIR NAIZATUL SURAYA KAMPUNG BACHANG PASIR PUTIH NGOH MIN BUKIT BARU NURHAZWANI MELAKA NURUL HASANAH MELAKA SITI DAYANG AYER MOLEK SOFIAH MOHAMED BUKIT PIATU SURIAH JALAN POKOK MANGGA CIK PUTERI DUYONG Merlimau (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) WAWA SERKAM PANTAI SOLEHATUL MARDHIYYAH BUKIT TEMBAKAU + Negeri Sembilan (17) Nama Lokasi Gemas (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) FARA_FARIZZIDA FELDA PALONG (4 - 6) NAJIHAH FELDA PASIR BESAR RUSLIZA ABDULLAH PUSAT BANDAR PALONG Kuala Pilah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NURUL AKMA KUALA PILAH Malay (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) GAYAHGEBU73 KAMPUNG BUKIT TEMBOK Nilai (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SANDII ALIZAN TAMAN SEMARAK ARUNKUMAR A/L NILAI KHAIRULNIZAM BANDAR NILAI IMPIAN FADZILAH NILAI Rembau (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MAZLIENA MOHD TAMAN REMBAU UTAMA SHAHIRA AIN KAMPUNG PERIGI JERNIH Senawang (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) RADIAH PADZIL SENAWANG Seremban (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MAZNI MRAMLY TAMAN TUANKU JAAFAR NABIHAH BEEHA TAMAN RASAH JAYA FAIZAH IDRIS TAMAN DATO SHAH BANDAR RABY KHAIDZIR TAMAN ALAMANDA Tanjong Ipoh (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NORAFRA AZMIRA TANJUNG IPOH + Pahang (31) Nama Lokasi Bandar Jengka (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) LINI HAIZA BANDAR JENGKA Bandar Temerloh (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NORMALA TEMERLOH Chini (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) ZILA TUAH FELDA CHINI (2, 3, 5) Jengka (Klik nama untuk WhatsApp, klik lokasi untuk", qa: {qa: [{question: Siapakah yang berada di Pantai Dalam?, answer: Suhani}, {question: Di mana lokasi SHAH di Alor Gajah?, answer: Bukit Katil}, {question: Siapakah yang berada di Taman Rembau Utama?, answer: Mazliena Mohd}]}}

搜集汇总

数据集介绍

构建方式

该数据集名为mesolitica/chatgpt-malaysian-open-qa，是一个面向马来西亚语开放领域问答的合成数据集。其构建过程依托于ChatGPT 3.5模型，从多个大规模语料源中自动生成问答对，具体包括马来西亚维基百科、马来西亚通用网络爬取语料（MS Common Crawl）以及马来西亚国会记录（Malaysia Hansard）。数据集的原始代码与生成流程公开于GitHub仓库中，确保了构建的可复现性与透明度。最终形成的三个JSONL文件分别对应上述语料来源，共计超过15.7万条问答样本，涵盖广泛的知识领域。

使用方法

使用该数据集时，可直接读取各JSONL文件，每个条目包含一个'paragraph'字段作为上下文，以及'qa'字段下的问答列表。研究人员可将其用于马来西亚语开放问答系统的微调与评估，尤其适合基于检索增强生成（RAG）或序列到序列模型的训练。数据集无需额外预处理即可加载至常见框架如HuggingFace Datasets或PyTorch中。建议根据任务需求合并或单独使用三个子文件，并注意数据已按来源分类，便于分析不同语料对模型性能的影响。

背景与挑战

背景概述

在自然语言处理领域，开放域问答系统一直是研究的热点与难点，尤其对于低资源语言如马来语而言，高质量数据集的匮乏严重制约了相关技术的发展。为此，马来西亚研究团队于2023年创建了mesolitica/chatgpt-malaysian-open-qa数据集，该数据集由马来西亚知名研究机构Mesolitica主导开发，旨在利用ChatGPT 3.5模型从马来语维基百科、马来语通用爬虫语料库及马来西亚国会记录中自动生成问答对。这一创新性工作不仅为马来语问答研究提供了大规模、多样化的训练资源，还推动了低资源语言在自然语言理解领域的进步，对东南亚语言技术生态产生了积极影响。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，马来语作为低资源语言，其开放域问答任务受限于语料库覆盖范围有限、语义表达多样性不足等问题，导致模型泛化能力较弱。其次，在构建过程中，利用ChatGPT 3.5生成的问答对存在噪声与幻觉风险，例如示例数据中出现的非结构化文本（如混合人名、地名与联系方式）可能引入不准确或无关的问答对，影响数据质量。此外，从不同来源（维基百科、通用爬虫、国会记录）整合数据时，需处理格式不统一、领域分布不均等难题，确保数据集的平衡性与代表性，这给数据清洗与质量控制带来了巨大挑战。

常用场景

经典使用场景

在自然语言处理与信息检索领域，mesolitica/chatgpt-malaysian-open-qa数据集被广泛用于构建和评估面向马来西亚语的开域问答系统。该数据集基于ChatGPT 3.5对马来语维基百科、通用爬虫语料及议会记录进行自动生成，形成了涵盖多源知识的问答对。研究者常将其作为基准，训练模型从非结构化文本中抽取精确答案，尤其适用于低资源语言场景下检索增强生成（RAG）范式的验证与优化。

解决学术问题

该数据集有效解决了马来语机器阅读理解（MRC）领域标注数据匮乏的核心瓶颈。传统上，马来语问答研究受限于人工标注成本高昂且规模不足，而mesolitica/chatgpt-malaysian-open-qa通过合成数据生成技术，提供了超过15万条高质量问答对，覆盖政治、地理、社会等多领域。这为跨语言迁移学习、零样本问答能力评估以及大语言模型在马来语环境下的泛化性能研究提供了关键支撑，显著推动了东南亚语言信息处理的理论进展。

实际应用

在实际应用中，该数据集驱动的模型可部署于马来西亚本地化智能客服系统、政务信息检索平台及教育辅助工具。例如，基于该数据训练的问答引擎能够快速响应公民关于议会记录、公共服务地点等查询，或辅助学生从马来语百科中提取知识点。此外，其合成数据生成范式也为其他低资源语言（如印尼语、泰语）的问答系统开发提供了可复制的技术路径，降低了行业落地门槛。

数据集最近研究

最新研究方向

在低资源语言自然语言处理领域，特别是马来语问答系统的构建中，合成数据生成技术正成为突破数据瓶颈的关键路径。mesolitica/chatgpt-malaysian-open-qa数据集通过利用ChatGPT 3.5对马来西亚维基百科、通用爬虫及国会记录等多元语料进行自动化问答对抽取，开创性地构建了大规模、高质量的马来语开放域问答资源。这一前沿研究方向紧密关联生成式大模型在数据增强中的应用热潮，通过合成数据缓解了马来语标注数据稀缺的困境，为东南亚语言理解研究提供了可复现的范式。该数据集不仅推动了马来语机器阅读理解与信息检索技术的迭代，更对促进语言多样性保护、弥合数字鸿沟具有深远意义，为低资源语言在智能问答系统中的平等参与奠定了数据基石。