barbaroo/STS

这是一个合成的法罗语语义文本相似性数据集。标签范围从0（无相似性）到5（两个句子完全等价）。数据集通过将基础法罗语资源工具包（BLARK）语料库中的句子翻译成英语，并使用Sentence BERT（SBERT）进行语义相似性比较，然后根据相似性评分均匀采样句子对，以构建一个平衡的数据集。数据集包含每个相似性类别（0到5）的200个句子。这是一个合成的法罗语语义文本相似性数据集。标签范围从0（无相似性）到5（两个句子完全等价）。数据集通过将基础法罗语资源工具包（BLARK）语料库中的句子翻译成英语，并使用Sentence BERT（SBERT）进行语义相似性比较，然后根据相似性评分均匀采样句子对，以构建一个平衡的数据集。数据集包含每个相似性类别（0到5）的200个句子。

原始信息汇总

数据集概述

语言

• 法罗语 (fo)

数据规模

• 1K<n<10K

许可

• CC BY 4.0

数据集描述

• 这是一个合成法罗语语义文本相似度数据集。标签范围从0（无相似性）到5（两个句子完全等价）。

数据生成方法

• 通过使用北欧大型语言模型GPT-Sw3，将来自基本法罗语语言资源工具包（BLARK）语料库的句子翻译成英语。
• 使用Sentence BERT（SBERT）比较句子之间的语义相似性。
• 根据相似度得分均匀抽样句子对，以编译一个平衡的数据集。

数据集结构

• 每个相似度类别（0, 1, 2, 3, 4, 5）包含200个句子。