人工标注的大型语言模型生成的文本数据集

该数据集是由上海交通大学网络安全科学与工程学院的研究人员创建的，包含由大型语言模型生成的文本和人类生成的文本。数据集大小为200条文本，旨在用于评估和改进大型语言模型检测和解释其生成文本的能力。数据集的创建过程涉及选择现有的人类生成的文本，设计相应的提示语以生成大型语言模型文本，然后由人工标注者对文本来源进行判断并提供解释。该数据集的应用领域是自然语言处理，特别是用于解决区分大型语言模型生成的文本和人类生成的文本这一难题。This dataset was developed by researchers from the School of Cyberspace Science and Engineering, Shanghai Jiao Tong University. It contains two types of texts: those generated by large language models (LLMs) and human-written texts, with a total of 200 text samples. This dataset is designed to evaluate and enhance the capability of large language models to detect their generated texts and provide corresponding explanatory justifications. The dataset construction process involves three key steps: first, selecting existing human-generated texts; second, crafting corresponding prompts to generate LLM-based texts; third, having human annotators judge the source of each text and provide their reasoning for the judgment. The application domain of this dataset is natural language processing (NLP), specifically targeting the challenging task of distinguishing between texts generated by large language models and those created by human authors.

搜集汇总

数据集介绍

构建方式

该数据集通过收集人工标注的大型语言模型生成的文本和人类生成的文本构建而成。研究者首先从公开的M4GT-Bench数据集中选择了1,000个人类生成的文本，并基于这些文本设计了1,000个提示，然后使用六种不同大小的最新大型语言模型（LLMs）对这些提示进行响应，从而生成相应的LLM生成的文本。这些LLM生成的文本和人类生成的文本共同构成了用于研究的基准数据集。

特点

该数据集的特点在于其包含了人类和LLMs生成的文本，并且每个文本都附有LLMs对其来源的判断和解释。数据集还包含了人工标注者对LLMs生成的解释的准确性评估，从而提供了对LLMs检测和解释能力的深入理解。此外，数据集还通过引入“未确定”类别，实现了对文本来源的更精细的区分。

使用方法

该数据集可用于评估LLMs在区分人类生成的文本和LLMs生成的文本方面的能力。研究者可以使用该数据集来训练和测试LLM检测器，评估其检测准确性和解释质量。此外，数据集还可以用于研究LLMs在不同分类任务（如二分类和三分类）中的表现，以及LLMs之间的协作如何影响检测性能。

背景与挑战

背景概述

在自然语言处理（NLP）领域，大型语言模型（LLMs）的发展已经取得了显著的进步，其生成文本的能力已经接近人类水平。然而，这种能力也引发了对LLM生成文本滥用的担忧，例如在虚假信息、学术不诚信和自动化内容审查等领域。因此，如何区分人类生成的文本和LLM生成的文本成为一个重要的研究课题。本文所讨论的数据集正是为了应对这一挑战而创建的，旨在提供一个基准数据集，用于评估和改进LLM生成文本的检测和解释能力。该数据集由上海交通大学网络科学与工程学院的研究人员创建，包含了人类标注的LLM生成文本和人类生成文本，并针对不同规模的LLM进行了评估。该数据集的创建对于推动LLM生成文本检测技术的发展具有重要意义。

当前挑战

该数据集相关的挑战包括：1）如何准确地区分LLM生成的文本和人类生成的文本；2）如何提高LLM生成文本检测器的解释能力，使其能够提供更清晰的推理过程和决策依据；3）如何解决LLM生成文本检测器在跨模型检测中表现不佳的问题；4）如何处理LLM生成文本检测器在解释过程中出现的错误，例如依赖不准确的特征、幻觉和错误的推理等。这些挑战需要进一步的研究和探索，以提高LLM生成文本检测器的准确性和可靠性，并使其能够更好地服务于各种应用场景。

常用场景

经典使用场景

该数据集主要用于区分人类生成文本与大型语言模型生成的文本。在二元分类任务中，它被用来判断文本是人类生成的还是模型生成的；而在三元分类任务中，它进一步增加了“不确定”类别，以处理那些难以区分的文本。此外，该数据集还用于评估和改进LLM检测器的解释清晰度，以提高LLM的透明度和推理过程的深入理解。

解决学术问题

该数据集解决了LLM生成的文本与人类生成的文本难以区分的问题，以及LLM检测器解释不清晰的问题。通过引入“不确定”类别，该数据集为LLM检测提供了更精细的框架，从而提高了检测和解释的质量。此外，该数据集还通过量化解释错误，为改进LLM检测和推理能力提供了有价值的见解。

衍生相关工作

该数据集的发布引发了一系列相关研究，如LLM之间的合作以提高检测性能，以及LLM检测器的微调。此外，该数据集还促进了LLM检测器解释错误的分析，以及LLM检测器在不同分类任务中的性能比较。