mesolitica/chatgpt-malaysian-qa-choice

该数据集名为malaysian-qa-choice，是一个问答类数据集，使用马来语（ms）生成。数据集通过ChatGPT3.5生成，来源包括Dewan Bahasa、Majalah Sains和Wikipedia等。数据集包含三个文件，分别为qa-dewanbahasa-jdbp.jsonl（2820行，12.3 MB）、qa-majalahsains.jsonl（2321行，11.1 MB）和qa-ms-wikipedia.jsonl（8217行，46.3 MB）。示例数据展示了一个段落及其相关的问答对，问题涉及马来西亚国际贸易和工业部长、中国公司在马来西亚的投资情况等。

原始信息汇总

Synthetic QA Choice 数据集概述

基本信息

• 任务类别: 问答（question-answering）
• 语言: 马来语（ms）
• 数据集名称: malaysian-qa-choice

数据来源

• 数据集由 ChatGPT3.5 生成。

数据文件

• qa-dewanbahasa-jdbp.jsonl: 2820 行，12.3 MB
• qa-majalahsains.jsonl: 2321 行，11.1 MB
• qa-ms-wikipedia.jsonl: 8217 行，46.3 MB

示例数据

python { paragraph: Pelaburan Syarikat China di Malaysia Tingkat Hubungan Dua Hala

Untuk mendapatkan maklumat terkini, ikuti kami melalui Telegram Kuala Lumpur –xa0 Menteri Perdagangan Antarabangsa dan Industri, Tengku Datuk Seri Utama Tengku Zafrul Aziz berkata peningkatan minat syarikat China melabur di Malaysia memberi petanda baik kepada negara dan telah meningkatkan hubungan dua hala antara Malaysia dan China serta telah disokong oleh keyakinan terhadap kerajaan Perpaduan negara. Beliau berkata menerusi satu kenyataan yang dikeluarkan oleh Lembaga Pembangunan Pelaburan Malaysia (MIDA), Kementerian Perdagangan Antarabangsa dan Industrixa0 (MITI) akan terus membantu memudahkan urusan para pelabur untuk menjalankan perniagaan di negara ini bagi menunjukkan bahawa Malaysia adalah sebuah negara sentiasa menyokong industri, perdagangan. Beliau juga menzahirkan ucapan tahniah kepada MIDA dan semua agensi berkaitan dalam membantu mendapatkan pelaburan berpotensi yang bernilai RM 170 bilion. “MITI, MIDA dan agensi lain kini perlu mula bekerja keras untuk membuat susulan dan seterusnya merealisasikan pelaburan ini dalam tempoh masa yang singkat,“ katanya. Menerusi misi perdagangan dan pelaburan di China baru-baru ini, ketua pegawai eksekutif MIDA, Datuk Arham Abdul Rahman berkata lebih 20 syarikat telah menunjukkan minat yang serius untuk melabur dalam ekonomi Malaysia yang sedang berkembang pesat melibatkan bidang seperti produk petrokimia, produk solar dan kaca, pusat data antarabangsa dan bahagian-bahagian dan komponen kenderaan elektrik. Syarikat Zhejiang Zhink Group, LONGi, GDS, Shanghai DC Science dan ZTE Corporationxa0 merupakan antara syarikat yang menyatakan minat yang mendalam untuk melabur di Malaysia dan kesemua syarikat ini mengakui potensi yang besar di Malaysia. Datuk Arham Abdul Rahman menyatakan pencapaian ini menunjukkan komitmen kerajaan Malaysia untuk menarik pelaburan berkualiti tinggi daripada pengguna teknologi digital utama dunia yang akan menempatkan satu pertiga daripada syarikat unicorn dunia. Pada tahun 2022, Malaysia mencatatkan sebanyak RM 264.4 bilion pelaburan diluluskan dalam sektor pembuatan, perkhidmatan dan primer dan daripada jumlah tersebut RM 55.4 bilion telah di sumbang oleh China yang melibatkan sejumlah 91 projek. MIDA berkata usaha niaga ini berpotensi mewujudkan 11 545 peluang pekerjaan baharu bagi tenaga kerja Malaysia yang sekali gus dapat mengukuhkan lagi struktur ekonomi negara., qa: { qa: [ { question: Siapakah Menteri Perdagangan Antarabangsa dan Industri Malaysia?, A: Tengku Datuk Seri Utama Tengku Zafrul Aziz, B: Datuk Arham Abdul Rahman, C: Tengku Zafrul Tengku Abdul Aziz, D: Datuk Seri Utama Tengku Zafrul Aziz, answer: A }, { question: Apakah yang dikatakan oleh Tengku Datuk Seri Utama Tengku Zafrul Aziz mengenai peningkatan minat syarikat China melabur di Malaysia?, A: Memberi petanda baik kepada negara, B: Meningkatkan hubungan dua hala antara Malaysia dan China, C: Disokong oleh keyakinan terhadap kerajaan Perpaduan negara, D: Semua jawapan di atas betul, answer: D }, { question: Berapakah nilai pelaburan berpotensi yang diperoleh daripada syarikat China yang bernilai RM 170 bilion?, A: RM 55.4 bilion, B: RM 264.4 bilion, C: RM 170 bilion, D: RM 11 545, answer: C }, { question: Berapakah bilangan projek yang melibatkan China dan telah diluluskan dalam tahun 2022?, A: 91 projek, B: 20 projek, C: 11 545 projek, D: Tidak dinyatakan dalam teks, answer: A } ] } }

搜集汇总

数据集介绍

构建方式

该数据集名为mesolitica/chatgpt-malaysian-qa-choice，专为马来语问答任务而构建。其构建方式依托于ChatGPT 3.5模型的生成能力，从三个经过去重的马来语文本来源中提取段落，包括马来西亚国家语文局与DBP期刊、科学杂志以及维基百科的马来语子集。每个段落经过模型处理后，自动生成一组多项选择题，涵盖问题、四个选项及正确答案。最终数据以JSON Lines格式存储，分为三个子文件，总计超过1.3万条问答对。

特点

数据集的核心特点在于其完全由合成方式生成，利用先进语言模型模拟人工标注，从而高效扩展马来语问答资源。每个样本包含原始段落与结构化问答对，问题设计紧扣文本内容，选项设置合理且答案明确，覆盖政治、经济、科学等多领域。数据规模适中，但来源多样，确保了内容的丰富性与代表性，同时通过去重预处理避免了冗余。

使用方法

该数据集适用于训练和评估马来语机器阅读理解与多项选择问答系统。用户可直接加载JSON Lines文件，解析每个样本中的paragraph字段作为上下文，qa字段中的question与选项作为输入，answer字段作为标签。典型应用包括微调预训练语言模型或构建端到端问答管道。数据集在HuggingFace上公开，并附有生成笔记本，便于复现与扩展。

背景与挑战

背景概述

在自然语言处理领域，面向低资源语言（如马来语）的问答数据集构建一直是推动区域语言技术发展的关键瓶颈。该数据集由马来西亚研究团队于2023年基于ChatGPT 3.5生成，旨在为马来语社区提供高质量的机器阅读理解与选择题问答资源。核心数据来源包括马来西亚国家语文出版局的语料、科学杂志文本以及维基百科摘录，通过自动化的问答对生成流程，构建了涵盖社会、科技与文化等多领域的13,358条样本。该数据集不仅填补了马来语问答任务的空白，也为东南亚语言模型评估提供了标准化基准，显著促进了低资源语言在预训练模型微调与评测中的研究进展。

当前挑战

当前数据集面临的核心挑战包括：其一，领域适配性难题，由于数据完全由合成方式生成，缺乏人工校验，导致部分问答对在语义逻辑与事实准确性上存在偏差，可能影响下游模型的泛化能力。其二，构建过程中的噪声控制问题，原始语料来源多样（如政府文件与科普文章），文体差异显著，自动生成的选项设计有时难以保证干扰项的有效性与均衡性。其三，规模与多样性矛盾，尽管覆盖多个主题，但每类来源样本量不均（如维基百科占61%），可能引入主题偏置，限制模型在真实马来语使用场景中的鲁棒性。

常用场景

经典使用场景

在自然语言处理领域，mesolitica/chatgpt-malaysian-qa-choice 数据集被广泛用于构建和评估马来语的多项选择问答系统。该数据集通过利用ChatGPT 3.5从马来语语料库（如德文语言数据库、科学杂志及维基百科）中自动生成问答对，为低资源语言——马来语的机器阅读理解研究提供了高质量的标注数据。研究者常将其作为基准测试集，以衡量模型在马来语上下文理解、选项判别和精确回答方面的能力，尤其在缺乏大规模人工标注数据的背景下，该数据集成为推动马来语问答技术发展的关键资源。

解决学术问题

该数据集有效解决了马来语自然语言处理中标注数据稀缺的学术难题。传统上，马来语问答任务因缺乏大规模、高质量的人工标注数据集而进展缓慢；mesolitica/chatgpt-malaysian-qa-choice 通过合成数据生成技术，为研究者提供了覆盖多领域（政治、科学、经济等）的问答样本，从而支撑了迁移学习、少样本学习及多语言模型微调等研究方向。其意义在于降低了低资源语言问答研究的门槛，促进了马来语信息检索与文本理解的理论探索，并为跨语言模型评估提供了对照基准。

衍生相关工作

该数据集衍生了一系列相关研究工作，包括基于预训练语言模型（如Malay-BERT、XLM-R）的问答系统优化、多任务学习框架下的阅读理解模型，以及合成数据质量评估方法。研究者借助该数据集探索了提示工程（prompt engineering）在低资源语言数据生成中的有效性，并开发了针对马来语语法和语义特征的答案选择策略。此外，该数据集还被用于对比不同生成模型（如GPT-3.5与GPT-4）在马来语问答任务上的性能差异，推动了合成数据在低资源语言NLP中的方法论创新。