SLLMBias/qa_CBBQ_bi_gender

--- configs: - config_name: default data_files: - split: validation path: data/validation-* dataset_info: features: - name: example_id dtype: int64 - name: question_index dtype: int64 - name: question_polarity dtype: string - name: context_condition dtype: string - name: category dtype: string - name: subcategory dtype: string - name: bias_targeted_groups dtype: string - name: source dtype: string - name: context dtype: string - name: question dtype: string - name: ans0 dtype: string - name: ans1 dtype: string - name: ans2 dtype: string - name: label dtype: int64 - name: ASR_LLM_Prompt dtype: string - name: SLLM_Prompt dtype: string - name: id dtype: string - name: audio dtype: audio: sampling_rate: 16000 - name: tts_provider dtype: string - name: speaker dtype: string - name: __index_level_0__ dtype: int64 splits: - name: validation num_bytes: 1173581811.372 num_examples: 5172 download_size: 2049307328 dataset_size: 1173581811.372 --- # Dataset Card for "qa_CBBQ_bi_gender" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)配置项： - 配置名称（config_name）：default 数据文件： - 拆分集（split）：validation 路径：data/validation-* 数据集信息： 特征字段： - 示例ID（example_id）：数据类型：64位整数（int64） - 问题索引（question_index）：数据类型：64位整数（int64） - 问题极性（question_polarity）：数据类型：字符串（string） - 上下文条件（context_condition）：数据类型：字符串（string） - 类别（category）：数据类型：字符串（string） - 子类别（subcategory）：数据类型：字符串（string） - 偏见靶向群体（bias_targeted_groups）：数据类型：字符串（string） - 来源（source）：数据类型：字符串（string） - 上下文（context）：数据类型：字符串（string） - 问题（question）：数据类型：字符串（string） - 答案0（ans0）：数据类型：字符串（string） - 答案1（ans1）：数据类型：字符串（string） - 答案2（ans2）：数据类型：字符串（string） - 标签（label）：数据类型：64位整数（int64） - ASR_LLM提示词（ASR_LLM_Prompt，其中ASR为自动语音识别（Automatic Speech Recognition），LLM为大语言模型（Large Language Model））：数据类型：字符串（string） - SLLM提示词（SLLM_Prompt）：数据类型：字符串（string） - 标识符（id）：数据类型：字符串（string） - 音频（audio）： 采样率（sampling_rate）：16000 - 文本转语音提供商（tts_provider，其中TTS为文本转语音（Text-to-Speech））：数据类型：字符串（string） - 说话人（speaker）：数据类型：字符串（string） - 索引级别0（__index_level_0__）：数据类型：64位整数（int64） 拆分集： - 名称：validation 字节数：1173581811.372 示例数量：5172 下载大小：2049307328 数据集大小：1173581811.372 --- # 「qa_CBBQ_bi_gender」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: validation
  • 路径: data/validation-*

数据集信息

• 特征:
  • example_id: int64
  • question_index: int64
  • question_polarity: string
  • context_condition: string
  • category: string
  • subcategory: string
  • bias_targeted_groups: string
  • source: string
  • context: string
  • question: string
  • ans0: string
  • ans1: string
  • ans2: string
  • label: int64
  • ASR_LLM_Prompt: string
  • SLLM_Prompt: string
  • id: string
  • audio:
    • sampling_rate: 16000
  • tts_provider: string
  • speaker: string
  • index_level_0: int64

数据集分割

• 分割名称: validation
• 数据大小: 1173581811.372 字节
• 示例数量: 5172

下载与数据集大小

• 下载大小: 2049307328 字节
• 数据集大小: 1173581811.372 字节

搜集汇总

数据集介绍

构建方式

该数据集基于CBBQ（Chinese Bias Benchmark for Questions）框架，聚焦于性别维度上的刻板印象与偏见评估。构建过程中，研究者首先从CBBQ中筛选出与性别相关的二元对立问题，随后通过语音合成技术（TTS）为每个样本生成对应的音频文件，形成多模态评估资源。每个样本包含问题索引、语境条件、偏见目标群体、源数据标签、上下文文本、三个候选答案（ans0、ans1、ans2）及正确答案标签，并额外引入ASR与SLLM提示字段以支持不同评估场景。数据集仅包含验证集，共5172个样本，音频采样率为16kHz。

特点

该数据集的核心特色在于其多模态与细粒度偏见评估能力。通过将文本问题与语音音频相结合，研究者可同时考察模型在文本与语音通道中的性别偏见表现。每个样本均标注了问题极性（question_polarity）、语境条件（context_condition）及偏见目标群体（bias_targeted_groups），支持对不同偏见触发机制的精准分析。此外，ASR_LLM_Prompt与SLLM_Prompt字段的设计，使得数据集能够无缝适配自动语音识别与大语言模型联合评估的复杂场景，为性别偏见研究提供了可复现的标准化测试工具。

使用方法

使用该数据集时，研究者可直接加载HuggingFace上的验证集（split='validation'），通过字段名称访问文本、音频及标注信息。对于文本评估，可基于question、ans0-ans2及label字段计算模型预测与真实标签的一致性；对于语音评估，可利用audio字段输入音频，结合ASR_LLM_Prompt字段模拟语音输入后的偏见检测流程。建议采用Bias Score或差异度指标量化模型在不同语境与极性条件下的性别偏见程度，同时注意音频文件的采样率需与模型输入要求匹配。

背景与挑战

背景概述

在自然语言处理领域，语言模型中的社会偏见问题日益受到关注，尤其是性别偏见对模型公平性和可靠性的影响。SLLMBias/qa_CBBQ_bi_gender数据集由研究团队于近期创建，旨在系统性地评估和缓解大语言模型在中文问答场景中针对二元性别的偏见。该数据集基于CBBQ（Chinese Bias Benchmark for QA）框架扩展而来，核心研究问题聚焦于如何通过多模态数据（如音频）和精细化标注，量化模型在性别相关语境下的表现差异。其影响力体现在为中文公平性研究提供了标准化测试基准，推动了模型去偏技术的实证评估，成为该领域的重要资源。

当前挑战

该数据集面临的核心挑战包括：一是所解决的领域问题，即语言模型在中文问答中普遍存在的性别刻板印象，例如对职业、家庭角色等场景的偏向性回答，这阻碍了模型在实际应用中的公平部署。二是构建过程中遇到的挑战，如多模态数据（文本与音频）的一致性标注难度大，需确保不同模态间性别线索的精确对应；同时，数据集包含5172个验证样本，覆盖多种上下文条件，但样本规模有限，可能难以捕捉所有现实偏见类型，且标注的主观性需通过严格质量控制来降低。

常用场景

经典使用场景

在自然语言处理领域，性别偏见评估是衡量语言模型公平性的重要维度。SLLMBias/qa_CBBQ_bi_gender数据集专为探测和量化大语言模型（LLMs）在二元性别维度上的系统性偏见而设计，其经典使用场景集中于模型行为审计。研究者通过该数据集提供的问答对（如上下文与问题组合），可系统性地测试模型在职业、家庭角色等社会语境中是否对男性或女性群体表现出偏好性输出，从而揭示模型内部隐含的性别刻板印象。

解决学术问题

该数据集有效解决了当前学术界对语言模型偏见量化缺乏统一基准的困境。它基于CBBQ框架，通过控制变量法设计对比问题，使研究者能够区分模型偏见是源于训练数据中的统计关联还是语义理解偏差。其核心学术贡献在于提供了多模态（文本与音频）的标注数据，支持从语义和语音双重层面分析偏见传播机制，为构建更公平的AI系统提供了可复现的评估工具。

衍生相关工作

基于该数据集，衍生了一系列具有影响力的学术工作。例如，研究者提出“对比学习去偏框架”，利用数据集中正反问题对训练模型学习无偏表示；另有工作结合音频特征，首次揭示了语音合成系统中性别偏见与文本偏见的交互效应。此外，该数据集被用作“多语言偏见迁移研究”的基准，推动了跨语言模型公平性评估方法的发展，相关成果已被ACL、EMNLP等顶级会议收录。