DeepSeek 大语言模型解释可靠性数据

本数据集旨在评估DeepSeek大语言模型在SQuAD（Stanford Question Answering Dataset）数据集上的句子生成任务中的解释可靠性。数据集的构建基于“与或交互”可解释性理论，通过计算模型输出中无法由显著交互解释的分量比例（即不可解释分量ρ），来量化解释的忠实度。我们选取了DeepSeek-R1-distill-Llama-8B模型，基于SQuAD数据集构造了句子生成测试样本，并从构造的数据集中随机选取了20个句子作为测试样本。每个样本以段落前30个单词作为输入，需要预测后续第一个具有实质含义且非停用词的目标词。为了确保结果的稳定性，我们进行了三组不同随机种子的独立实验。每个样本的数据均包含通过“与或交互”算法计算得到的“与”交互效用值、“或”交互效用值以及在2^n种遮挡情况下模型对目标词的生成置信度。通过本数据集，用户可以复现我们提出的解释可靠性指标（ρ<0.1视为通过测试），为可解释人工智能领域中大语言模型的解释方法比较与评估提供了标准化的基础数据资源。

搜集汇总

背景与挑战

背景概述

该数据集基于“与或交互”可解释性理论，通过计算不可解释分量比例ρ，评估DeepSeek-R1-distill-Llama-8B模型在SQuAD句子生成任务中的解释忠实度。数据集包含20个随机选取的测试样本，每个样本以段落前30个单词为输入预测目标词，并提供了“与”交互效用值、“或”交互效用值及多种遮挡下的置信度数据，支持用户复现解释可靠性指标（ρ<0.1视为通过），为可解释人工智能中的大语言模型评估提供标准化基础资源。