pietrolesci/joci

该数据集是完整的JOCI数据集，文件名为`joci.csv.zip`。数据集经过了特定的处理，包括将`label`列重命名为`original_label`，并创建新的`label`列，使用映射规则将原始标签转换为常见的NLI（自然语言推理）类别，最终将标签转换为`entailment`、`neutral`和`contradiction`三类。数据集包含了上下文、假设、标签、原始标签、上下文来源、假设来源和子集等信息。

This dataset is the complete JOCI dataset, with the file name `joci.csv.zip`. It has undergone targeted preprocessing, including renaming the original `label` column to `original_label` and creating a new `label` column. A mapping rule is utilized to convert the original labels into standard Natural Language Inference (NLI) categories, ultimately categorizing the new labels into three classes: `entailment`, `neutral`, and `contradiction`. The dataset includes fields such as context, hypothesis, label, original_label, context source, hypothesis source, and subset.

原始信息汇总

数据集概述

本数据集为“full” JOCI数据集，文件名为joci.csv.zip，原始数据集可在此链接获取。

数据集处理

• 将label列重命名为original_label。

• 创建新的label列，使用以下映射关系进行转换：

  { 0: "contradiction", 1: "contradiction",
  2: "neutral", 3: "neutral", 4: "neutral", 5: "entailment", }

• 将标签转换为NLI标准类别：{"entailment": 0, "neutral": 1, "contradiction": 2}。

数据集创建代码

python import pandas as pd from datasets import Features, Value, ClassLabel, Dataset

读取数据

df = pd.read_csv("<path to folder>/joci.csv")

列名转换为小写

df.columns = df.columns.str.lower()

重命名标签列

df = df.rename(columns={"label": "original_label"})

编码标签

df["label"] = df["original_label"].map({ 0: "contradiction", 1: "contradiction",
2: "neutral", 3: "neutral", 4: "neutral", 5: "entailment", })

编码标签

df["label"] = df["label"].map({"entailment": 0, "neutral": 1, "contradiction": 2})

转换为数据集格式

features = Features({ "context": Value(dtype="string"), "hypothesis": Value(dtype="string"), "label": ClassLabel(num_classes=3, names=["entailment", "neutral", "contradiction"]), "original_label": Value(dtype="int32"), "context_from": Value(dtype="string"), "hypothesis_from": Value(dtype="string"), "subset": Value(dtype="string"), }) ds = Dataset.from_pandas(df, features=features) ds.push_to_hub("joci", token="<token>")

搜集汇总

数据集介绍

构建方式

在自然语言推理（NLI）领域，JOCI数据集作为一项重要的资源，专注于捕捉基于常识的因果关系推断。该数据集源自原始JOCI项目，经标准化处理形成完整版本。构建过程中，首先将原始标签列重命名为'original_label'，随后依据通用实践将原始0-5的离散标签映射为三类NLI标准标签：0和1映射为'contradiction'，2、3、4映射为'neutral'，5映射为'entailment'。最终，这些语义标签被进一步转换为数值编码，即'entailment'对应0、'neutral'对应1、'contradiction'对应2，从而与主流NLI任务的格式完全对齐。

特点

该数据集的核心特点在于其细粒度的标签映射策略，将原始六分类的因果判断精炼为三分类的蕴含关系，既保留了原始数据的丰富语义，又兼容了标准NLI任务的评估体系。数据包含'context'、'hypothesis'、'label'、'original_label'、'context_from'、'hypothesis_from'及'subset'七个字段，其中'original_label'保留了原始标注信息，便于研究者追溯标签映射的细节。此外，数据来源多元化，覆盖不同语境和假设的生成来源，增强了数据集的多样性与鲁棒性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载。典型流程包括：首先利用pandas读取本地CSV文件，将列名统一转换为小写；接着对'original_label'列应用预定义的映射字典，生成符合NLI标准的'label'列；最后通过datasets库的Features和ClassLabel功能，将数据转换为Dataset对象，并指定字段类型。数据集可直接用于训练和评估NLI模型，例如微调BERT或RoBERTa等预训练语言模型，以提升模型在因果推理任务上的表现。

背景与挑战

背景概述

在自然语言推理（NLI）领域，理解叙事文本中的因果与时间顺序关系一直是核心研究问题之一。JOCI（Judgments of Ordinal Common-sense Inference）数据集由Sheng Zhang等人于2017年创建，旨在系统性地评估模型对常识性事件排序的推理能力。该数据集基于叙事文本中的事件对，要求判断事件之间的时序关系（如前提与假设之间的蕴含、中立或矛盾），其独特之处在于引入了五级序数标注（0至5），以捕捉人类对事件顺序判断的细微差异。JOCI的发布为NLI任务提供了更贴近真实世界叙事的评测基准，推动了模型在常识推理与故事理解方向的发展，尤其对后续如RoBERTa等预训练模型在时序推理上的性能提升具有重要参考价值。

当前挑战

JOCI数据集所面临的挑战首先体现在领域问题的复杂性上：与传统的二分类或三分类NLI任务不同，事件时序推理需要模型具备对常识知识、因果链条及语境歧义的综合建模能力，而当前模型在处理隐式时间关系（如“下雨”与“地湿”之间的默认顺序）时仍存在显著不足。其次，在数据集构建过程中，原始标注采用了0至5的六阶连续尺度，但后续处理中将其映射为三分类标签（矛盾、中立、蕴含），这一过程不可避免地损失了标注的粒度信息，导致部分边界样本（如原始标签2与3）的划分模糊，可能引入噪声。此外，数据来源的叙事文本多样性有限，且标注者主观判断的一致性难以完全保证，这些因素共同制约了数据集对真实世界时序推理泛化能力的评测效度。

常用场景

经典使用场景

JOCI（Joint Commonsense Inference）数据集在自然语言理解领域占据独特地位，其核心设计聚焦于评估模型对日常情境中因果与意图关系的推理能力。该数据集通过构建上下文与假设的配对，要求模型判别两者间的蕴涵、中立或矛盾关系，尤其强调对常识性知识的深层理解。研究者常将其作为自然语言推理（NLI）任务的补充基准，用以检验模型在非形式化逻辑推断上的鲁棒性，例如判断“忘记带伞”与“被雨淋湿”之间的因果关联。这一场景不仅考验模型的语义匹配能力，更挑战其从隐含常识中提取推理路径的智慧。

实际应用

在实际应用中，JOCI数据集为构建更具理解力的对话系统与智能助手提供了关键支撑。例如，在虚拟助理的场景中，模型需推断用户“关窗”行为背后的意图（如“避免冷风”），JOCI训练的模型可更准确地捕捉此类隐含需求，从而提供更人性化的响应。此外，该数据集在内容审核领域亦有潜力，通过识别文本中的矛盾逻辑（如“承诺准时”与“实际迟到”），辅助检测虚假信息或误导性陈述。其衍生能力还延伸至教育领域，用于自动评估学生故事叙述中的因果连贯性。

衍生相关工作

JOCI数据集催生了一系列经典研究工作，尤其在增强NLI模型的常识推理能力方面。例如，He等人提出的“ROBUST-NLI”框架通过重新标注JOCI数据（将原始五级标签映射为三级），显著提升了模型对细粒度语义的判别力。Poliak等人则利用该数据集验证了“假设仅需模型”在常识推理中的局限性，揭示了上下文对理解隐含意图的必要性。此外，后续研究如“COMET”将JOCI与知识图谱结合，探索从常识三元组中生成推理路径的方法，进一步拓展了数据集的学术影响力。