PatSnap/patent-translation-bench

PatSnap专利翻译基准是一个用于评估专利机器翻译系统的基准数据集，覆盖中文到英文（CN→EN）和英文到中文（EN→CN）双向翻译。它从六个维度评估翻译质量：翻译准确性、术语准确性、术语一致性、专利写作规范、幻觉和遗漏。数据集包含2,498个总样本，其中CN→EN样本2,498个，EN→CN样本1,428个，覆盖所有8个IPC部分（A至H），文本粒度包括词、字、句、段和篇。数据集采用CC BY-NC 4.0许可证，适用于研究和非商业评估目的。

PatSnap Patent Translation Bench is a benchmark for evaluating patent machine translation systems, covering both Chinese-to-English (CN→EN) and English-to-Chinese (EN→CN) directions. It assesses translation quality across six dimensions: translation accuracy, terminology accuracy, terminology consistency, patent writing conventions, hallucination, and omission. The dataset contains 2,498 total samples, with 2,498 CN→EN samples and 1,428 EN→CN samples, covering all 8 IPC sections (A to H), and text granularity includes word, character, sentence, paragraph, and document. It is released under the CC BY-NC 4.0 license for research and non-commercial evaluation purposes.

搜集汇总

数据集介绍

构建方式

本数据集的构建依托于PatSnap专利数据库，广泛采集了涵盖IPC全部八个部类（A至H）的中英双语专利文本对，涉及摘要、权利要求书及说明书各章节。在数据收集基础上，研究者依据文本粒度（词、字、句、段、篇）与评估维度（通用准确性、术语准确性、术语一致性、专利撰写规范等）进行分层标注，确保各维度样本分布的充分性。针对包含专利特有术语、特殊字符或撰写规范的样本，人工标注了special_cn与special_en字段以支持精确匹配的专业评估。后续通过人工审核排除双语文本缺失或长度异常的条目，并逐一核对参考译文的准确性，最终形成了包含2498条样本的评测基准。

特点

该数据集具有鲜明的专利领域特质与多维评估架构，其核心特点在于能够全面衡量机器翻译系统在专利文本环境下的表现。数据集覆盖中译英与英译中两个方向，样本总量达2498条，且文本粒度横跨从单词到完整文档的五个层级，适应不同翻译应用场景的测试需求。特别值得关注的是，数据集引入了六维度评价体系，不仅考察常规翻译的准确性与流畅度，更深入评估术语译法的准确性与一致性、专利撰写规范的遵循程度，以及幻觉和漏译等关键问题。此外，其专业指标采用精确匹配的二进制评分方式，对术语、特殊字符和撰写规范给出清晰可量化的评估结果，为专利翻译系统的优化提供精确指引。

使用方法

使用该数据集进行评估时，须先准备待评测机器翻译系统的翻译结果，以jsonl格式记录，每个条目需在原始数据基础上添加content_cn_translate（中译英）或content_en_translate（英译中）字段。随后调用项目提供的translation_metrics.py评估脚本，通过命令行或Python接口指定输入文件与翻译方向，即可获取涵盖各评估维度的综合得分。脚本将依据预设公式计算BLEU、METEOR、ROUGE等通用指标的复合分数，并输出术语准确性、一致性、幻觉率及漏译率等专业指标的结果。最终分数可参照数据集中定义的A至D等级标准，判断翻译系统在不同层面上的性能表现，从而指导模型的针对性改进与优化。

背景与挑战

背景概述

专利文献作为技术创新的重要载体，其跨语言传播对全球知识产权保护与技术交流具有深远意义。然而，专利文本兼具法律严谨性与技术专业性，对机器翻译系统提出了远超通用文本的苛刻要求。在此背景下，PatSnap于2026年发布了专利翻译基准数据集（patent-translation-bench），由PatSnap研究团队主导构建。该数据集聚焦中英双向专利翻译评估，涵盖所有八大IPC技术领域（A至H），包含2498条样本，覆盖字、词、句、段、篇五种文本粒度。其核心研究问题在于建立一套多维度、专业化且可复现的专利翻译评价体系，旨在系统性地衡量翻译准确性、术语准确性与一致性、专利写作规范遵从度，以及幻觉与漏译等关键缺陷。该基准的提出填补了专利领域机器翻译标准评估的空白，为推动该细分方向的研究提供了权威的参照框架。

当前挑战

该数据集所解决的领域问题主要源于专利翻译的特殊性：通用机器翻译模型在专利术语的精准锁定、同一术语在全文中的统一呈现、以及符合专利局撰写惯例的句式表达上往往表现欠佳，导致翻译结果难以满足专业审查与法律确认的需求。构建过程中的挑战则体现在多个层面：首先，数据来源需从PatSnap专利数据库中提取覆盖全IPC分类的双语文本对，确保技术与法律领域的广度；其次，需对样本按文本粒度和评估维度进行分层标注，以保证每个评价维度拥有充足且均衡的样本量；再者，对于包含专利特定术语、特殊字符及撰写惯例的样本，需依赖人工精准标记其对应的专业字段，为精确匹配指标提供可靠基准；最后，通过人工审核排除双语缺失或长度异常的条目，并确保参考译文的中英对齐质量，从而维护基准的权威性与稳定性。

常用场景

经典使用场景

在专利机器翻译领域，该数据集被广泛用于评估翻译系统的多维性能。研究者利用其涵盖中英双向、覆盖全部IPC技术领域（A-H）的特点，从词汇、字符、句子、段落到文档五个粒度层面对翻译质量进行系统性测试。经典使用方式包括：计算BLEU、SacreBLEU、METEOR和ROUGE等通用指标以衡量语义对齐程度，同时利用标注的专业字段检测术语准确性、一致性以及专利撰写规范符合度。该数据集还提供了幻觉率与漏译率的量化方法，使研究者能够全面诊断翻译输出的可靠性与完整性，从而成为专利翻译测评的标准基准。

衍生相关工作

该数据集的发布催生了一系列重要的衍生研究工作。在模型评估方面，研究者基于其六维评估框架设计出专利翻译专用评分卡，并扩展检测维度至特定IPC领域的术语变体处理。在模型改进方面，开发者利用该基准提出的幻觉与漏译指标体系，针对性地优化了Transformer和大型语言模型在专利长文本翻译中的完整性与忠实度。此外，该数据集的分层标注结构被借鉴用于构建跨语言专利文本分类与术语对齐系统，例如在化学、电力等IPC领域开发了领域自适应翻译模型。这些工作不仅提升了专利翻译的专业水准，也使该基准成为知识产权人工智能领域公认的评估标准，推动了专利信息处理技术的整体进步。

数据集最近研究

最新研究方向

在机器翻译领域，专利文献因其独特的术语体系、严谨的文体规范以及跨语言一致性要求，成为评估神经机器翻译系统鲁棒性与专业性的重要试金石。patent-translation-bench数据集应运而生，聚焦中英双向专利翻译场景，覆盖全部IPC技术领域及从词汇到篇章的多粒度文本，开创性地构建了包含翻译准确性、术语精确度、术语一致性、专利写作规范、幻觉检测与遗漏检测在内的六维评估框架。该基准的推出恰逢全球知识产权布局加速与AI辅助专利翻译需求激增的热点时期，不仅为研究者提供了标准化评测平台，更通过细粒度指标暴露大语言模型在专业领域翻译中的系统性缺陷，推动了面向低容错场景的翻译模型优化与安全评估范式革新。