GitHub Typo Corpus

GitHub Typo Corpus是由Octanove Labs、RIKEN AIP和Tohoku University联合创建的大型多语言数据集，专注于收集和纠正GitHub平台上的拼写错误和语法错误。该数据集包含超过35万条编辑记录，涵盖超过15种语言，总计6400万字符，是目前最大的拼写错误数据集。创建过程中，研究者通过提取符合条件的仓库和提交记录，使用语言检测和监督分类器过滤非人类语言和非拼写相关的编辑。数据集主要应用于拼写纠正和语法错误纠正领域，旨在提供一个丰富的自然发生的拼写和语法错误资源，以促进相关NLP任务的发展。

The GitHub Typo Corpus is a large-scale multilingual dataset jointly developed by Octanove Labs, RIKEN AIP, and Tohoku University, focusing on collecting and correcting spelling and grammatical errors on the GitHub platform. This dataset contains over 350,000 editing records, covering more than 15 languages with a total of 64 million characters, making it the largest spelling error dataset to date. During its creation, researchers extracted eligible repositories and commit records, and filtered out non-human languages and non-spelling-related edits using language detection and supervised classifiers. The dataset is primarily applied in the fields of spelling correction and grammatical error correction, aiming to provide a rich resource of naturally occurring spelling and grammatical errors to facilitate the advancement of related NLP tasks.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，拼写校正与语法纠错任务长期受困于大规模标注数据的匮乏。为突破这一瓶颈，研究者从全球最大的代码托管平台GitHub中挖掘语料，构建了GitHub Typo Corpus。该数据集的构建首先通过GH Archive筛选出符合条件（如拥有至少50颗星、采用宽松开源许可证、大小介于1MB至1GB之间）的仓库，再从中提取提交信息中包含“typo”关键词的提交记录。随后，通过比对提交与其父提交的差异，收集所有删除行与插入行组成的编辑对，并剔除包含超过10个编辑的提交以排除非拼写修正。最终，利用基于门控卷积神经网络的语言检测工具过滤掉编程语言文本，仅保留人类语言编辑，从而形成了包含逾35万条编辑、覆盖15种语言的庞大规模语料。

特点

该数据集的核心特色在于其规模与多语言覆盖的广度，共包含超过350,000个编辑及6,500万字符，横跨英语、简体中文、日语等15种语言，是目前最大的拼写错误数据集。其独特之处在于编辑来源的真实性——所有错误均源自真实开发者在代码文档中无意引入的拼写或语法瑕疵，并由人工代码审查机制确保修正的准确性。此外，数据集通过训练一个仅含三项特征（困惑度比率、归一化编辑距离、数值变更标识）的逻辑回归分类器，以F1值约0.9的高精度区分拼写修正与语义修改，并自动为每条编辑赋予“拼写错误概率”分数与二元标签。现有拼写检查器在该数据集上的F值仅约0.5，充分揭示了其作为自然发生的拼写与语法错误宝库的独特价值。

使用方法

GitHub Typo Corpus以JSONL格式发布，每行对应一个提交，包含仓库地址、提交哈希、提交消息及编辑列表，便于开发者直接解析与使用。用户可根据自动标注的“is_typo”二元标签或连续的“prob_typo”概率分数灵活筛选高质量拼写与语法错误对。该数据集可直接用于训练序列到序列的拼写校正或语法纠错模型，作为平行语料提升模型对真实错误模式的泛化能力。同时，研究者也可利用其丰富的多语言特性，探索跨语言的错误分布规律，或将其作为基准评估现有拼写检查工具的性能短板。配套的开源代码还提供了从GitHub提取新编辑的流程，支持用户持续扩展语料。

背景与挑战

背景概述

在自然语言处理领域，拼写校正与语法错误纠正（GEC）是两项基础而关键的任務，其性能提升对下游应用及语言教育具有深远影响。然而，长期以来，大规模高质量错误语料的匮乏严重制约了基于统计机器翻译和神经序列到序列模型的发展。现有资源如Birkbeck拼写错误语料库规模有限，而通过自动生成伪错误的方法难以真实反映人类错误的分布与多样性。为填补这一空白，Masato Hagiwara与Masato Mita于2019年联合构建了GitHub Typo Corpus，该数据集从全球最大的代码托管平台GitHub中提取了超过35万次编辑与6500万字符，涵盖15种以上语言，成为迄今为止规模最大的多语言拼写与语法错误数据集。其创新之处在于利用提交信息中的“typo”关键词高效筛选候选编辑，并结合分类器自动识别真实错误，为拼写校正与GEC研究提供了丰富、自然且互补的资源，推动了领域内数据驱动方法的进步。

当前挑战

GitHub Typo Corpus所面临的挑战首先体现在领域问题层面：拼写校正与语法错误纠正任务长期受限于数据稀缺性，现有数据集如Birkbeck语料库仅包含孤立单词错误，而自动生成的伪错误无法模拟真实人类错误的复杂分布，导致模型泛化能力不足。该数据集虽提供了大规模真实错误实例，但现有拼写检查器（如Aspell与Enchant）在其上的F值仅约0.5，表明其中包含大量难以处理的错误类型，如上下文相关的拼写错误、跨语言混用及非拉丁字符转换错误。其次，在构建过程中，挑战亦十分显著：从GitHub海量仓库中提取编辑时，需区分编程语言与自然语言文本，并过滤掉语义性编辑（如代码逻辑修改），这依赖于语言检测模型和轻量级分类器的精确性；此外，提交信息仅含英文关键词“typo”，导致语料语言分布严重偏向英语，限制了多语言覆盖的均衡性；同时，编辑类型的细粒度标注（如机械性、拼写、语法与语义编辑）需人工判断，类别边界模糊，增加了数据清洗的难度与成本。

常用场景

经典使用场景

在自然语言处理领域，拼写纠错与语法错误修正长期以来受限于大规模高质量标注数据的匮乏。GitHub Typo Corpus 应运而生，从全球最大的代码托管平台 GitHub 的海量提交记录中，挖掘出超过 350k 条真实的人类拼写与语法错误及其修正对，覆盖 15 种以上语言。该数据集最经典的使用场景是作为拼写纠错与语法错误修正系统的训练与评估基准，尤其适用于需要大规模平行语料的序列到序列模型，从而弥补了传统数据集规模小、语种单一的不足。

解决学术问题

该数据集有效解决了学术界在拼写纠错与语法错误修正研究中长期面临的训练数据稀缺问题。此前，研究者常依赖人工生成伪错误或从维基百科等来源获取噪声较大的编辑数据，但这些方法无法真实反映人类错误的分布与多样性。GitHub Typo Corpus 提供了大量自然发生的、经代码审查验证的修正实例，使模型能够学习到更贴近真实场景的纠错模式，显著提升了拼写检查器与语法纠错系统的鲁棒性和泛化能力，为相关学术研究奠定了坚实的数据基础。

衍生相关工作

GitHub Typo Corpus 的发布催生了一系列衍生研究工作。在方法层面，研究者基于该数据集开发了更高效的拼写纠错模型，例如利用原子编辑分析挖掘常见错误模式，并设计轻量级分类器以自动识别拼写与语义编辑。在应用层面，该数据集被用于评估和改进现有拼写检查库（如 Aspell 和 Enchant）的性能，揭示了其在多种错误类型上的局限性，进而推动了对更鲁棒纠错算法的探索。此外，该数据集还启发了多语言语法错误修正系统的构建，促进了跨语言自然语言处理技术的进步。