mugeakbulut/Kadi_Sicilleri-ds-mini

该数据集包含了论文的基本信息、提交历史、评论、主题、期刊引用等内容。数据集字段包括DOCNO、ARXIVID_xml、ARXIVID、Link、Title、Authors、Year、Submitted on、Submission history、Last revised tarihi、content、Comments、Subject、Journal reference、DOI、Cite as等。数据集分为训练集和验证集，训练集包含413个样本，验证集包含46个样本，数据集总大小为1652412.0字节。

原始信息汇总

数据集概述

数据集特征

• DOCNO: 数据类型为 int64
• ARXIVID_xml: 数据类型为 string
• ARXIVID: 数据类型为 string
• Link: 数据类型为 string
• Title: 数据类型为 string
• Authors: 数据类型为 string
• Year: 数据类型为 int64
• Submitted on (gün, ay, yıl olarak submission tarihi): 数据类型为 string
• Submission history (v1 de dahil olmak üzere hepsi): 数据类型为 string
• Last revised tarihi: 数据类型为 string
• content: 数据类型为 string
• Comments: 数据类型为 string
• Subject: 数据类型为 string
• Journal reference: 数据类型为 string
• DOI: 数据类型为 string
• Cite as: 数据类型为 string
• Unnamed: 16: 数据类型为 float64
• Unnamed: 17: 数据类型为 float64
• Unnamed: 18: 数据类型为 float64
• Unnamed: 19: 数据类型为 float64
• Unnamed: 20: 数据类型为 string
• Abstract_no: 数据类型为 string
• Unnamed: 22: 数据类型为 string
• review: 数据类型为 string
• content_length: 数据类型为 int64

数据集分割

• train: 包含 413 个样本，占用 1486810.797385621 字节
• validation: 包含 46 个样本，占用 165601.2026143791 字节

数据集大小

• 下载大小: 810073 字节
• 数据集大小: 1652412.0 字节

配置

• default 配置包含以下数据文件:
  • train: 路径为 data/train-*
  • validation: 路径为 data/validation-*

搜集汇总

数据集介绍

构建方式

该数据集名为Kadi_Sicilleri-ds-mini，其构建源自对学术文献元数据与全文内容的系统化整合。数据集中每条记录包含文档编号（DOCNO）、arXiv标识符（ARXIVID）、标题（Title）、作者（Authors）、提交与修订历史（Submitted on、Submission history、Last revised tarihi）、学科分类（Subject）、DOI引用信息等结构化字段，并附有完整文本内容（content）及人工评阅意见（review）。数据被划分为训练集（413条）与验证集（46条），以JSON格式存储，便于高效加载与处理。

特点

该数据集的核心特征在于其多维度的元数据覆盖与文本内容的深度结合。它不仅收录了论文的标题、作者、提交日期等常规信息，还包含了评论（Comments）、期刊引用（Journal reference）以及用户评阅（review）等非结构化文本，从而为学术文献的语义分析、引用网络构建及质量评估提供了丰富的语料基础。此外，数据集保留了文本长度（content_length）字段，便于进行文本统计与过滤。

使用方法

用户可通过HuggingFace的datasets库直接加载该数据集，指定配置名称为'default'，并选择训练或验证分割。加载后，每条数据以字典形式呈现，支持通过键名访问如'content'、'review'等字段。适用于学术文献分类、摘要生成、评阅情感分析等自然语言处理任务，也可用于元数据补全与文献计量学研究。数据集的轻量级设计（约1.6MB）使其适合快速原型开发与教学演示。

背景与挑战

背景概述

该数据集名为“Kadi_Sicilleri-ds-mini”，由研究者mugeakbulut创建，聚焦于奥斯曼帝国时期的宗教法庭记录（Kadi Sicilleri）的数字化与文本分析。这些历史文献记录了社会、经济与法律生活的珍贵细节，但长期以来因语言古奥、格式杂乱而难以被现代计算技术解析。数据集基于arXiv论文元数据构建，包含标题、作者、摘要、评审等字段，旨在为自然语言处理与历史学交叉研究提供结构化语料。其核心研究问题在于如何通过机器学习方法高效提取和分类历史文本中的关键信息，从而推动数字人文领域的发展。该数据集虽规模有限（训练集413例，验证集46例），却为探索非英语历史文档的自动处理开辟了新路径，对中东研究、法律史及计算语言学具有启发性意义。

当前挑战

当前数据集面临多重挑战。首先，在领域问题层面，历史文本的稀疏性与语言变异性导致传统词嵌入模型难以捕捉语义关联，尤其是涉及奥斯曼土耳其语中的古语词汇与宗教术语时，分类与信息抽取的准确性显著下降。其次，构建过程中遭遇了数据清洗的困境：原始记录包含大量缺失值（如“Unnamed”列）和格式不一致的字段（如提交日期与修订历史），需要人工校验与标准化，而样本量仅为459条，限制了深度学习模型的泛化能力。此外，多语言混杂（如阿拉伯语借词与土耳其语语法）增加了分词与标注的复杂度，且缺乏权威的标注基准来评估模型性能，使得结果对比难以标准化。

常用场景

经典使用场景

在历史文献数字化与自然语言处理交叉研究领域，Kadi_Sicilleri-ds-mini数据集为学者提供了一组经过初步整理的奥斯曼帝国时期法庭记录（Kadi Sicilleri）的学术摘要与元数据。该数据集的经典使用场景集中于构建面向古典土耳其语的历史文本分类与信息抽取模型，研究者可基于其包含的标题、作者、年份、摘要及全文内容等结构化字段，训练能够自动识别法律文书主题、提取关键实体（如人物、地点、判例）的深度学习系统，从而实现对大规模未标注历史档案的智能化分析。

衍生相关工作

该数据集衍生了一系列推动历史文本计算发展的经典工作。一方面，研究者以其为基准，开发了针对奥斯曼土耳其语的预训练语言模型（如OsmBERT），通过在法庭记录语料上进一步预训练，显著提升了历史专有名词识别与古文句法分析的精度。另一方面，该数据集催生了面向低资源历史语言的跨领域迁移学习研究，例如将现代土耳其语的情感分析模型通过领域自适应技术迁移至法庭文本，用以量化不同时期民众对司法裁决的态度倾向，为数字人文领域的方法论创新提供了重要实证基础。

数据集最近研究

最新研究方向

该数据集聚焦于奥斯曼帝国时期伊斯兰教法法庭记录（Kadı Sicilleri）的数字化与文本挖掘，为历史学与计算语言学的交叉研究提供了宝贵资源。当前前沿方向集中于利用自然语言处理技术，如命名实体识别与情感分析，从这些手写体法庭文献中提取社会经济结构、法律实践及日常生活的微观历史脉络。结合数字人文领域的热点事件，例如全球范围内对非西方历史档案的开放获取运动，该数据集的意义在于打破传统史学研究中语言与地域的壁垒，推动跨文化比较研究。其影响体现在为学者提供可复现的量化分析基础，助力揭示奥斯曼帝国治理的复杂性，并成为训练多语言历史文本模型的基准数据，从而深化对前现代中东社会动态的理解。