M4LE

arXiv2023-10-30 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2310.19240v1

下载链接

链接失效反馈

官方服务：

资源简介：

M4LE是一个多能力、多范围、多任务、多领域的长上下文评估基准，基于包含36个NLP数据集、11种任务类型和12个领域的多样化NLP任务池。为了缓解自然长序列任务的稀缺性并整合多能力评估，提出了一种自动方法（几乎无需人工标注）将短序列任务转换为统一的长序列场景，其中LLMs必须在基于显式或语义提示的长上下文中识别单个或多个相关跨度。

M4LE is a multi-capability, multi-scope, multi-task, and multi-domain long-context evaluation benchmark built on a diverse pool of NLP tasks encompassing 36 NLP datasets, 11 task types, and 12 domains. To alleviate the scarcity of natural long-sequence tasks and facilitate integrated multi-capability evaluation, an automatic method requiring nearly no manual annotation is proposed to convert short-sequence tasks into a unified long-sequence scenario, wherein LLMs must identify single or multiple relevant spans within long contexts grounded in explicit or semantic prompts.

创建时间：

2023-10-30

搜集汇总

数据集介绍

构建方式

M4LE的构建立足于一个多样化的自然语言处理任务池，涵盖36个数据集、11种任务类型及12个领域。为缓解天然长序列任务稀缺的困境，并融入多能力评估，研究者提出了一种自动化方法（仅需极少人工标注），将短序列任务转化为统一的长序列场景。该方法通过从源数据集中采样多个原始实例，将其上下文段落拼接为长序列，并辅以明确的段落标识符，最终生成涵盖五种不同能力的任务样本。这些样本的输入长度在1k至8k词之间均匀分布。

特点

M4LE的核心特色在于其多维度评估框架，具体体现为多能力、多范围、多任务、多领域。多能力方面，它定义了五种长上下文理解能力：显式单跨度、语义单跨度、显式多跨度、语义多跨度及全局上下文理解。多范围确保了样本长度从1k到8k词的均匀覆盖。多任务整合了36个数据集与11种任务类型，多领域则横跨维基百科、学术、新闻、电商等12个领域。这种设计使其能够系统性地揭示大语言模型在不同能力维度和长度范围上的长序列处理表现。

使用方法

M4LE的使用遵循标准的长上下文评估流程。每个样本是一个由任务描述、上下文、指令和响应组成的四元组。评估时，模型需根据指令从长上下文中检索并识别相关跨度。研究者通过对11个知名大语言模型（包括针对长序列优化的模型）进行系统评估，揭示了当前模型在长上下文理解上的挑战。数据集已公开，研究者可直接下载使用，并依据论文中的实验设置复现结果或进行扩展研究。

背景与挑战

背景概述

随着大型语言模型在诸多自然语言处理任务中展现出卓越性能，其处理长序列文本的能力逐渐成为衡量模型实用性的关键指标。然而，现有主流基准测试多聚焦于短文本场景，缺乏对模型长上下文理解能力的系统性评估。为此，香港中文大学与华为诺亚方舟实验室的研究团队于2023年提出了M4LE基准数据集。该数据集旨在从多能力、多范围、多任务、多领域四个维度，全面评测大语言模型的长上下文理解能力。M4LE基于涵盖36个自然语言处理数据集、11种任务类型和12个领域的任务池构建，通过自动化方法将短序列任务转化为统一的长序列场景，并定义了显式单跨度、语义单跨度、显式多跨度、语义多跨度及全局上下文理解五种能力类型。该数据集的发布为长上下文建模研究提供了标准化评估工具，对推动大语言模型在长文本处理领域的发展具有重要意义。

当前挑战

M4LE所解决的核心领域问题在于，当前大语言模型在处理长上下文时普遍存在性能显著下降的现象，尤其在需要多跨度注意力机制的任务中表现尤为困难。实验表明，语义检索任务对能力较强的模型更具挑战性，而显式检索则因不符合模型习惯反而对弱模型更友好。在构建过程中，M4LE面临的主要挑战包括：一是自然长序列任务稀缺，需通过创新方法将短序列任务转化为长序列场景；二是需要设计涵盖五种不同理解能力的统一评估框架，确保任务多样性；三是构建过程中需控制输入长度从1k到8k均匀分布，并保证相关段落均匀分布于上下文中以消除位置偏差。此外，现有长上下文微调方法相较于简单的神经正切核缩放方法并未展现出显著优势，表明更高效的长上下文理解增强方法亟待探索。

常用场景

经典使用场景

M4LE 作为一项多能力、多范围、多任务、多领域的长上下文评估基准，其经典使用场景在于系统性地衡量大型语言模型在处理长序列输入时的理解能力。该基准通过将短序列任务自动转化为统一的长上下文场景，覆盖了显式单跨度、语义单跨度、显式多跨度、语义多跨度以及全局上下文理解五种能力维度，从而能够全面剖析模型在不同复杂程度的长文本任务中的表现。研究者通常利用 M4LE 来对比不同模型在从1k到8k输入长度范围内的性能衰减曲线，以此评估模型的长上下文建模鲁棒性。

衍生相关工作

M4LE 的提出催生了一系列关于长上下文建模的衍生研究工作。其构造方法启发了后续如 LongBench 和 L-Eval 等基准的改进，推动了更细粒度的长文本能力评估框架的发展。基于 M4LE 的实验发现，如位置插值与神经正切核感知缩放方法的比较，直接促进了 YaRN 等高效上下文扩展技术的诞生。此外，该基准对多跨度注意力和语义检索难度的深入分析，为后续研究如 LongChat 和 Vicuna 的长上下文微调策略优化提供了理论指导，并推动了 Lost-in-the-Middle 现象在更多 NLP 任务中的验证与缓解方法探索。

数据集最近研究