atahanuz/setimes-en-tr-aligned-corpus

SETimes EN-TR — 句子对齐、LLM清理版本是一个经过清理和重新对齐的SETimes英语-土耳其语平行语料库。原始SETimes数据是段落风格的——每个“对”可能包含标题、日期行、多个正文句子和来源引用，所有内容都粘合在一行上。此版本将所有内容拆分为适当的句子对，因此每一行都是一个英语句子及其土耳其语翻译。数据集包含144,065个句子对，存储在一个CSV文件中。清理过程使用大型语言模型（gpt-oss-120b）进行分割和过滤，以移除无关内容（如独立日期行、来源引用块）并确保句子对齐，同时通过嵌入模型（qwen3-embedding-8b）计算跨语言余弦相似度进行过滤。数据来源于SETimes平行语料库（Tyers和Alperen，2010），包含2003-2012年SETimes.com发布的关于东南欧事务的新闻文章，采用CC-BY-4.0许可证。

语言：
- 英语
- 土耳其语
授权协议：CC-BY-4.0
多语言类型：
- 翻译型
友好名称：SETimes 英-土（句子对齐、经大语言模型清洗）
规模区间：10万<样本量<100万
源数据集：
- 扩展|setimes
标签：
- 翻译
- 机器翻译
- 平行语料库（parallel corpus）
- 英语
- 土耳其语
- 经大语言模型清洗
任务类别：
- 翻译
配置项：
- 配置名称：default
数据文件：
- 划分：训练集
路径：setimes_en_tr_aligned.csv

# SETimes 英-土平行语料库 — 句子对齐、经大语言模型清洗
本数据集为原始SETimes英土平行语料库的清洗重对齐版本。原始SETimes语料采用段落式结构，每组“语料对”可能包含标题、发稿栏、若干正文语句及来源标注，全部拼接于同一行内。本版本将所有内容拆分为标准语句对，每一行均对应一条英语语句及其土耳其语译版。
本数据集包含**144,065条语句对**，存储于单个CSV文件中。

## 快速统计数据
| 统计项 | 数值 |
|---|---|
| 总语料对数量 | 144,065 |
| 单语料对英语词汇量（中位数/均值） | 20 / 20.7 |
| 单语料对土耳其语词汇量（中位数/均值） | 16 / 17.1 |
| 相似度得分（均值/5分位数/95分位数） | 0.80 / 0.70 / 0.87 |
| 对齐前的源段落数量 | 119,162 |

## 字段说明
| 字段名 | 数据类型 | 描述 |
|---|---|---|
| `en` | 字符串 | 英语语句 |
| `tr` | 字符串 | 土耳其语语句 |
| `sim` | 浮点数 | 两侧语句的跨语言余弦相似度（cross-lingual cosine similarity），由`qwen3-embedding-8b`生成。数值越高表示词汇相似度越高——但需注意，该指标仅反映同源词重叠程度，而非翻译质量。来源标注与日期类语句得分最高；低同源性语句的合格译版得分通常约为0.5。 |
| `source_line` | 整数 | 该语句来源的原始SETimes段落索引。若某段落被拆分为多个语句对，则多条记录会共享同一`source_line`值。 |

## 清洗流程说明
原始SETimes语料库在训练翻译模型时存在若干实际问题：
1. 大量“语料对”并非单一句对，而是将完整的新闻文章头部拼接而成：包括标题、日期、地点发稿栏、1至2条正文语句及来源标注，全部集中于同一行。基于此类语料训练的模型会学习到无法泛化的长距离模式。
2. 部分“语料对”为纯来源标注内容，例如`(Reuters, AP - 12/04/05)`，两侧内容完全一致，无翻译学习价值。
3. 少量语料对因源稿件的编辑修订，出现单侧内容错误的问题。

为解决上述问题，我们将每一组原始段落对输入至大语言模型（Large Language Model，LLM）`gpt-oss-120b`，并附带严格提示词，要求模型完成以下操作：
- **保留**所有完整语句与标题（保留标题旁附带的日期信息）。
- **剔除**独立的发稿栏（例如`ZAGREB, Croatia --`）、来源标注块（例如`(Reuters, AP - ...)`）及孤立的日期戳。
- **拆分**被逗号拼接的标题与正文语句——此前版本的提示词中该场景为主要问题之一。
- **绝对禁止**翻译、释义或修正拼写错误——模型仅需选择保留内容与划分方式。

完成大语言模型处理后，我们使用`qwen3-embedding-8b`对所有输出语句进行句嵌入（embedding），并过滤掉满足以下任一条件的语料对：
- 英语与土耳其语语句完全一致（未经过翻译）。
- 两侧词汇长度比例极端（超出`[0.25, 4.0]`区间）。
- 任意一侧语句词汇量少于3个。
- 两侧语句词汇重叠率超过80%（同源词占比过高或存在复制内容）。
- 跨语言余弦相似度低于0.35（大语言模型为两侧匹配了错误的语句）。

本次清洗从原始144,244条语料对中移除了179条，虽删除量不大，但大幅提升了语料质量。

## 数据集加载方法
python
from datasets import load_dataset
ds = load_dataset("atahanuz/setimes-en-tr-aligned")
print(ds["train"][0])
# {'en': '...', 'tr': '...', 'sim': 0.73, 'source_line': 59}

也可通过pandas直接加载：
python
import pandas as pd
df = pd.read_csv("setimes_en_tr_aligned.csv")

## 来源与授权协议
本数据集的原始文本来自**SETimes**平行语料库（Tyers与Alperen，2010），该语料库收录了2003年至2012年间SETimes.com发布的东南欧事务相关新闻文章。SETimes采用CC-BY-4.0协议发布，本衍生数据集沿用相同授权协议。

若使用本数据集，请引用原始SETimes论文：

Tyers, F. M., & Alperen, M. S. (2010). South-East European Times: A parallel corpus of Balkan languages. Proceedings of the LREC workshop on exploitation of multilingual resources and tools for Central and (South-) Eastern European Languages.