aisingapore/Small-SEA-Instruct-2602

这是一个用于论文“DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer”的训练数据集。它基于SEA-Instruct数据集，覆盖了七种东南亚语言：印尼语、越南语、泰语、泰米尔语、他加禄语、马来语和缅甸语。数据集包含开源提示，每个提示都配有一个合成响应和质量估计。从原始数据集中，每种语言采样了4000个高质量示例（根据原始标注），总计28000个样本。通过随机采样约束，保持了领域、任务类型和提示复杂度的分布。

This is a training dataset for paper "DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer". We use SEA-Instruct, which covers seven SEA languages: Indonesian, Vietnamese, Thai, Tamil, Tagalog, Malay, and Burmese. The dataset contains open-source prompts, each paired with a synthetic response and quality estimate. We sample 4,000 high-quality examples per language, as labeled by the original dataset, resulting 28,000 samples. Random sampling constraints preserve the distribution of domains, task types, and prompt complexity.

搜集汇总

数据集介绍

构建方式

Small-SEA-Instruct-2602数据集源自学术论文《DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer》，其基础为覆盖七种东南亚语言（印度尼西亚语、越南语、泰语、泰米尔语、他加禄语、马来语、缅甸语）的SEA-Instruct语料库。数据集的构建遵循质量优先与分布均衡的双重原则：首先，利用原始数据集中标注的质量评分，从每种语言中筛选出4000条高质量样本，总计28000条；随后，通过随机采样策略，确保所选取样本在领域、任务类型及提示复杂度等维度上的分布与原始数据集保持一致，从而有效规避了采样偏差。

特点

该数据集的核心特点在于多语言覆盖与精细化的质量控制。其涵盖的七种语言均属于东南亚语系，为跨语言模型训练提供了稀缺的高质量语料资源。每个样本均包含开源提示、对应的合成响应及质量评估分数，这种三元组结构不仅便于模型进行指令微调，还支持研究者根据质量分数进行样本加权或筛选。此外，通过分层随机采样保留了原始数据集的语义分布多样性，使得模型在复杂跨语言场景下的泛化能力得以提升。

使用方法

本数据集主要面向文本生成任务的模型微调与评估。使用者可直接加载所有28000条样本进行全量训练，也可根据需求按语言或质量分数进行子集划分，例如针对特定语言（如泰语）训练专用模型。由于数据集遵循ODC-BY许可协议，研究者可自由用于学术目的，并建议配合论文中提出的双信号蒸馏方法使用。在数据加载时，建议关注响应字段的格式一致性，以确保与主流生成式框架（如Transformers库）的兼容性。

背景与挑战

背景概述

在自然语言处理领域，多语言指令微调数据集对于提升语言模型在低资源语言上的泛化能力至关重要。Small-SEA-Instruct-2602由新加坡AI研究机构（AI Singapore）于2024年创建，旨在解决东南亚语系（包括印尼语、越南语、泰语、泰米尔语、他加禄语、马来语和缅甸语）的指令跟随任务。该数据集基于SEA-Instruct原始数据，通过双信号蒸馏框架（DuDi）与跨语言言语器的协同，筛选出每语言4000个高质量样本，最终形成28000条多语言指令对。其核心研究问题在于如何平衡数据质量与多样性，以缩小高资源与低资源语言间的性能鸿沟，对推动东南亚语言模型的本地化与包容性发展具有重要影响。

当前挑战

数据集当前面临多重挑战。在领域问题层面，东南亚语言资源稀缺且语法形态多样（如泰语的声调系统、缅甸语的音节文字），导致模型在跨语言语义对齐和任务泛化上容易产生偏差，需设计高效的采样策略以覆盖不同领域与任务类型。在构建过程中，原始SEA-Instruct数据的质量标签依赖自动评估，存在噪声风险；而随机采样虽能维护数据分布，却可能忽略极端稀有领域的代表性，需进一步优化样本筛选机制以兼顾覆盖度与保真度。

常用场景

经典使用场景

在跨语言自然语言处理研究中，Small-SEA-Instruct-2602数据集主要服务于多语言指令微调与模型对齐任务。该数据集涵盖印度尼西亚语、越南语、泰语、泰米尔语、他加禄语、马来语和缅甸语七种东南亚语言，通过从原始SEA-Instruct语料库中精选每语言4000条高质量样本，构建了包含28000条指令-响应对的均衡集合。研究者常将其作为基准数据集，用于评估和提升语言模型在低资源东南亚语言场景下的指令遵循能力与生成质量。

衍生相关工作

围绕该数据集，学界已衍生出多项创新性研究，其中最为突出的是论文《DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer》，其提出了双信号蒸馏框架，结合跨语言口头表达器来优化指令微调效果。此外，原始SEA-Instruct数据集的构建方也持续探索基于质量感知采样的数据增强方法，相关技术被后续工作借鉴以改进多语言模型的领域适应能力。这些衍生的经典工作共同构建了从数据筛选到模型蒸馏的完整技术链条，为低资源语言的自然语言处理研究提供了可复现的范式。

数据集最近研究

最新研究方向

Small-SEA-Instruct-2602数据集聚焦于低资源东南亚语言的指令微调质量优化，其核心价值在于为跨语言多模态蒸馏提供高保真训练样本。伴随《DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer》论文的发表，该数据集通过双信号蒸馏机制与跨语言言语器的协同创新，显著提升了东南亚小语种大语言模型的语义对齐能力。研究者从涵盖七种语言的SEA-Instruct原始语料中，依据质量评分精细筛选出每语种4000例高质量样本，并通过分层随机抽样策略确保领域分布、任务类型与提示复杂度的均衡性。这一方法论不仅缓解了低资源语言标注数据匮乏的瓶颈，更以系统性采样框架树立了多语言指令数据集构建的新标杆，为东盟地区AI生态的包容性发展注入关键技术动能。