Biomedical-TeMU/SPACCC_Sentence-Splitter

该数据集包含一个用于分割西班牙语临床病例文本的句子分割模型。模型使用了SPACCC_SPLIT语料库进行训练和测试，训练集包含900个临床病例，测试集包含100个临床病例。模型在测试集上达到了98.75%的F-Measure。数据集包含了模型、训练集、测试集、黄金标准、可执行文件和源代码。模型的创建使用了Apache OpenNLP工具包，并详细描述了训练参数和模型评估结果。

This dataset contains a sentence segmentation model designed for splitting Spanish clinical case texts. The model was trained and tested using the SPACCC_SPLIT corpus, where the training set includes 900 clinical cases and the test set has 100 clinical cases. It attained an F-Measure of 98.75% on the test set. The dataset encompasses the trained model, training set, test set, gold standard reference, executable files, and source code. The model was developed with the Apache OpenNLP toolkit, and comprehensive descriptions of the training parameters and model evaluation outcomes are provided.

原始信息汇总

数据集概述

数据集名称

The Sentence Splitter (SS) for Clinical Cases Written in Spanish

数据集描述

本数据集包含一个使用SPACCC_SPLIT语料库（https://github.com/PlanTL-SANIDAD/SPACCC_SPLIT）训练的句子分割模型。该模型使用90%的语料库（900个临床案例）进行训练，并使用剩余10%（100个临床案例）进行测试。该模型特别适用于分割西班牙语的生物医学文档，尤其是临床案例，其F-Measure达到98.75%。

数据集内容

• 模型：句子分割模型，文件名为 "es-sentence-splitter-model-spaccc.bin"。
• 训练集：用于构建模型的临床案例，包含在 "train_set" 和 "train_set_docs" 目录中。
• 测试集：用于评估模型性能的临床案例，位于 "test_set" 目录。
• 黄金标准：用于评估模型性能的临床案例，位于 "gold_standard" 目录。
• 源代码：创建和评估模型的代码，包括 "CreateModelSS.java" 和 "EvaluateModelSS.java"，以及使用示例 "SentenceSplitter.java" 和 "abbreviations.dat" 文件。
• 可执行文件：用于应用句子分割器的程序 "SentenceSplitter.jar"。

模型评估

• 评估统计：
  • 黄金标准中的句子数：1445
  • 生成的句子数：1447
  • 正确分割的句子数：1428
  • 错误分割的句子数：12
  • 遗漏的句子数：5
  • 精确度：98.69%
  • 召回率：98.82%
  • F-Measure：98.75%

使用方法

• 使用命令：java -jar SentenceSplitter.jar INPUT_FILE MODEL_FILE
• 示例：java -jar SentenceSplitter.jar file_with_sentences_not_splitted.txt es-sentence-splitter-model-spaccc.bin

许可证

本数据集遵循Creative Commons Attribution 4.0 International License。

搜集汇总

数据集介绍

构建方式

该数据集基于SPACCC_SPLIT语料库构建，该语料库包含西班牙语临床病例的句子分割标注。模型采用Apache OpenNLP机器学习工具包（版本1.8.4）进行训练，训练集占语料库的90%（900个临床病例），测试集占10%（100个临床病例）。在模型构建过程中，通过优化训练参数实现最佳性能：迭代次数设为4000，截止参数为3，训练器类型采用事件训练器，算法选用最大熵模型。句子分割器的构建参数包括语言代码设置为西班牙语（es），启用标记结尾功能，使用自定义缩写词典（abbreviations.dat），并将句号、问号和感叹号定义为句子结束字符。

特点

该模型专为生物医学领域西班牙语文本的句子分割任务设计，尤其在临床病例处理中表现卓越。其F值达到98.75%，精确率为98.69%，召回率为98.82%，展现出高度可靠的性能。模型以二进制文件（es-sentence-splitter-model-spaccc.bin）形式提供，并配套完整的资源集合，包括训练集、测试集、黄金标准数据、可执行文件和源代码。数据集遵循CC-BY-4.0许可协议，便于学术研究和商业应用中的自由使用与再分发。

使用方法

使用该模型进行句子分割时，用户需准备待处理的文本文件（.txt格式）和模型文件（.bin格式）。通过执行SentenceSplitter.jar可执行文件，在终端中输入命令“java -jar SentenceSplitter.jar INPUT_FILE MODEL_FILE”即可运行。程序将自动读取输入文本并应用训练好的分割模型，在终端中逐行输出分割后的句子。该可执行文件已内嵌Apache OpenNLP依赖库，用户无需额外安装工具包，仅需确保系统已安装Java SE 1.8或更高版本即可直接使用。

背景与挑战

背景概述

在生物医学自然语言处理领域，针对西班牙语临床文本的句子边界检测是一项基础而关键的任务。该数据集由西班牙Barcelona Supercomputing Center的Ander Intxaurrondo等人于2018年创建，依托SPACCC_SPLIT语料库，旨在解决临床病例中句子分割的精准性问题。研究团队利用Apache OpenNLP工具包，基于最大熵算法和精心调优的参数（如4000次迭代、截止值3），构建了一个高性能的句子分割模型。该模型在900份临床病例上训练，并在100份独立测试集上取得了98.75%的F值，为西班牙语生物医学文本的后续分析（如信息抽取、关系提取）奠定了坚实基础，推动了低资源语言中临床自然语言处理工具的发展。

当前挑战

该数据集面临的核心挑战源自西班牙语临床文本的独特语言特性与构建复杂性。首先，临床病例中频繁出现的缩写词（如‘Dr.’）、数字、符号及非标准标点使用，导致传统基于规则的句子分割方法准确率低下，模型需依赖精心构建的缩写词典与上下文特征进行消歧。其次，语料标注过程中，人工划分句子边界的主观差异及长句嵌套结构的处理（如诊断描述中的列举句）增加了标注一致性难度。此外，模型依赖的OpenNLP工具包版本和Java环境兼容性可能限制其在现代生产环境中的部署，而训练与测试数据仅覆盖1000份临床病例，样本规模有限，对罕见句式的泛化能力仍需验证。

常用场景

经典使用场景

在生物医学自然语言处理领域，该数据集最经典的使用场景是作为西班牙语临床病例文本的句子边界检测工具。基于SPACCC_SPLIT语料库构建的模型，能够精准识别临床记录中复杂句式与专业术语的断句位置，例如处理含有缩写、数字或特殊符号的医学描述。研究者常将其嵌入临床文本预处理流水线，为后续的实体识别、关系抽取或文本分类任务提供结构化的句子级输入。

衍生相关工作

该数据集衍生了一系列高质量的西班牙语生物医学自然语言处理工具，包括基于OpenNLP框架的命名实体识别模型、词性标注器以及依存句法分析器。其训练策略与评估方法被后续研究采纳，用于扩展至葡萄牙语、意大利语等罗曼语族临床文本处理。此外，该工作的缩写词典与参数配置成为PlanTL-SANIDAD系列语料库的标准组件，支撑了如医学事件抽取、药物相互作用检测等下游任务的基准测试。

数据集最近研究

最新研究方向

在西班牙语临床文本的自然语言处理领域，句子边界消歧一直是信息抽取与文本结构化的关键瓶颈。Biomedical-TeMU/SPACCC_Sentence-Splitter数据集基于SPACCC_SPLIT语料库，利用Apache OpenNLP的最大熵模型，在900份西班牙语临床病例上训练，于100份测试集上达到了98.75%的F1值，彰显了其在医疗文书分句任务中的卓越性能。当前研究前沿聚焦于将该模型与深度学习序列标注方法（如BiLSTM-CRF或Transformer架构）融合，以应对临床文本中缩写、数字、特殊符号等复杂边界现象。此外，随着西班牙语生物医学文献的激增，该资源为构建跨机构电子健康记录的分句流水线提供了标准化基准，推动了非英语医疗NLP的公平性与可复现性发展。其开源许可与详尽评估指标也促进了拉丁美洲及欧洲临床文本处理工具链的互操作性研究。