johnlockejrr/samaritan_v1

Samaritan_v1数据集包含14世纪和17世纪初的撒玛利亚圣经手稿的行图像和文本。所有图像都被调整为固定的128像素高度。数据集中的文档使用希伯来语、撒玛利亚希伯来语和撒玛利亚阿拉姆语书写。数据集结构包括数据实例和数据字段，其中数据实例包含图像和文本，数据字段详细说明了图像和文本的处理方式。

The Samaritanv1 dataset comprises Samaritan Biblical manuscripts line images and text from 14th and early 17th century. All images are resized to a fixed height of 128 pixels. The dataset is written in Hebrew, Samaritan Hebrew and Samaritan Aramaic. The dataset structure includes images and corresponding text transcriptions, where the image part is a PIL.Image.Image object and the text part is the label transcription of the image. The dataset is divided into train, validation, and test sets, containing 2500, 1500, and 965 samples respectively.

原始信息汇总

Samaritan v1 - line level 数据集概述

数据集描述

Samaritanv1 数据集包含来自14世纪和17世纪早期的 Samaritan 圣经手稿的行图像和文本。所有图像都被调整为固定高度128像素。

语言

数据集中的所有文档均以希伯来语、Samaritan 希伯来语和 Samaritan 亚拉姆语书写。

数据集结构

数据实例

json { "image": <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=4300x128 at 0x1A800E8E190>, "text": "ינבו הנש תאמו םישלשו" }

数据字段

• image: 包含图像的 PIL.Image.Image 对象。访问图像列时（例如使用 dataset[0]["image"]），图像文件会自动解码。解码大量图像文件可能需要较长时间，因此建议先查询样本索引再访问 "image" 列，即 dataset[0]["image"] 应优先于 dataset["image"][0]。
• text: 图像的标签转录文本。由于 PyLaia 库的限制，文本从 RTL 翻转为 LTR。

数据集信息

• 特征：
  • image: 图像类型，数据类型为 image。
  • text: 文本类型，数据类型为 string。
• 分割：
  • train: 训练集，包含 2500 个样本。
  • validation: 验证集，包含 1500 个样本。
  • test: 测试集，包含 965 个样本。
• 数据集大小：415M。

标签

• atr
• htr
• ocr
• historical
• handwritten
• samaritan

搜集汇总

数据集介绍

构建方式

在数字人文与古文字研究领域，手写文本识别（HTR）数据集的构建是推动算法发展的关键基石。Samaritan_v1数据集专注于撒玛利亚圣经手稿的行级图像与文本配对，其图像源自14世纪至17世纪初的珍贵历史文献。所有图像被统一缩放至128像素的固定高度，确保了数据格式的一致性。数据集包含2500个训练样本、1500个验证样本和965个测试样本，总规模达415MB，覆盖了希伯来语、撒玛利亚希伯来语及撒玛利亚阿拉姆语三种语言。文本转录方向从传统的从右至左（RTL）被刻意调整为从左至右（LTR），以适配PyLaia库的技术限制，体现了构建过程中对工具兼容性的考量。

使用方法

使用该数据集时，研究人员可通过HuggingFace的datasets库直接加载。建议优先通过索引访问图像列，例如dataset[0]["image"]，以避免批量解码大量图像文件带来的时间开销。数据集支持标准的训练/验证/测试划分，便于进行模型训练与评估。由于文本已从RTL调整为LTR，在使用PyLaia等仅支持LTR的HTR框架时无需额外预处理。图像数据以PIL.Image.Image对象形式提供，可无缝集成到常见的深度学习流水线中，适用于序列到序列或基于注意力的手写识别模型训练。

背景与挑战

背景概述

撒玛利亚圣经手稿作为犹太-基督教传统中珍贵的文化遗产，其文字系统融合了希伯来语、撒玛利亚希伯来语及撒玛利亚阿拉姆语，承载着14至17世纪初的宗教与历史信息。然而，由于撒玛利亚文字形态古老且书写风格多样，传统光学字符识别（OCR）技术难以准确转录这些手稿，导致这一领域的数字化研究长期处于滞后状态。为填补这一空白，研究者johnlockejrr于近年创建了Samaritan_v1数据集，该数据集包含约5000张经过标准化处理的行级图像及其对应文本标注，旨在推动历史手写文本识别（HTR）与自动文本识别（ATR）技术的发展。数据集采用MIT开源协议发布，为计算语言学、数字人文及古籍保护领域提供了关键的基础资源，其影响力体现在降低了撒玛利亚文献研究的准入门槛，并促进了跨学科协作。

当前挑战

该数据集面临的核心挑战首先源于撒玛利亚文字系统的复杂性：其手写体在14至17世纪间经历了显著的形态演变，同一字符在不同手稿中可能存在巨大差异，加之文本中混合多种语言（希伯来语、撒玛利亚希伯来语、阿拉姆语），使得模型需具备跨语言识别能力。此外，手稿图像因年代久远常伴有污损、褪色或背景噪声，对图像预处理与特征提取构成严峻考验。在构建过程中，研究者需应对标注质量控制的难题——由于撒玛利亚文字的专业性，文本转录依赖极少数专家，导致标注一致性难以保证；同时，从原始手稿中裁剪行级图像时，需精确对齐文本行边界，避免切割错误引入噪声。数据集规模有限（仅约5000样本）亦制约了深度学习模型的泛化性能，需借助数据增强或迁移学习策略弥补数据稀缺性带来的挑战。

常用场景

经典使用场景

Samaritan_v1数据集是专为历史手写文本识别与光学字符识别领域设计的高质量资源，聚焦于14至17世纪撒玛利亚圣经手稿的行级图像与对应文本转录。该数据集最经典的使用场景在于训练和评估基于深度学习的图像到文本生成模型，尤其是针对古老闪米特语系文字（如希伯来语、撒玛利亚希伯来语和阿拉姆语）的自动识别系统。研究人员常利用其包含的2500张训练样本、1500张验证样本及965张测试样本，构建端到端的编码器-解码器架构，以攻克非拉丁语系手写体在历史文献数字化中的识别难题。

解决学术问题

该数据集精准解决了历史文献数字化进程中一个核心学术困境：撒玛利亚手写文本因字体古老、语种稀缺且标注资源匮乏，长期缺乏标准化基准。Samaritan_v1通过提供统一尺寸（高度128像素）的行级图像与翻转后从左到右排列的文本标签，克服了传统OCR对右到左书写方向的兼容性局限，为跨语种手写识别研究提供了可复现的实验平台。其意义在于填补了撒玛利亚文献自动转录领域的空白，推动了低资源语种在计算机视觉与自然语言处理交叉学科中的方法论创新，使学者得以量化评估模型对历史变体字符的鲁棒性。

实际应用

在实际应用中，Samaritan_v1数据集直接赋能文化遗产保护与数字化图书馆建设。它可部署于古籍扫描仪的自动转录系统，将撒玛利亚圣经手稿的物理影像高效转化为可搜索的电子文本，从而加速宗教学者与历史学家对珍稀文献的索引与校勘工作。此外，该数据集还可集成至博物馆的智能导览平台，通过实时识别展品中的手写片段为参观者提供双语注释，或用于开发面向语言教学的工具，帮助学习者辨识古代闪米特文字的结构特征，降低非专业用户接触历史语料的门槛。

数据集最近研究

最新研究方向

在历史文档分析与光学字符识别（OCR）领域，撒玛利亚手稿因其独特的书写系统与宗教文化价值，正成为跨学科研究的前沿焦点。Samaritan_v1数据集聚焦于14至17世纪撒玛利亚圣经手稿的行级图像与文本转录，覆盖希伯来语、撒玛利亚希伯来语及撒玛利亚阿拉姆语三种语言，为深度学习驱动的历史手写文本识别（HTR）提供了稀缺的标注资源。该数据集的出现，直接响应了数字人文领域对濒危文字自动识别技术的迫切需求，尤其是在撒玛利亚文字资源匮乏的背景下，其415M规模、近5000样本的三元组划分（训练/验证/测试）为模型鲁棒性评估奠定了基准。当前研究热点集中于利用该数据集训练端到端的图像到文本转换模型，结合注意力机制与Transformer架构，以应对手稿中复杂的字形变形、噪声干扰及从右至左书写方向的技术挑战。此外，该数据集还推动了多语言古籍的联合建模研究，为跨文化历史遗产的数字化保护提供了新的可能性，其影响力已延伸至圣经文本校勘学与犹太-撒玛利亚文化传承的数字重建中。