tomekkorbak/shp_with_features_20k

---
dataset_info:
features:
- name: post_id
dtype: string
- name: domain
dtype: string
- name: upvote_ratio
dtype: float64
- name: history
dtype: string
- name: c_root_id_A
dtype: string
- name: c_root_id_B
dtype: string
- name: created_at_utc_A
dtype: int64
- name: created_at_utc_B
dtype: int64
- name: score_A
dtype: int64
- name: score_B
dtype: int64
- name: human_ref_A
dtype: string
- name: human_ref_B
dtype: string
- name: labels
dtype: int64
- name: seconds_difference
dtype: float64
- name: score_ratio
dtype: float64
- name: helpfulness_A
dtype: float64
- name: helpfulness_B
dtype: float64
- name: specificity_A
dtype: float64
- name: specificity_B
dtype: float64
- name: intent_A
dtype: float64
- name: intent_B
dtype: float64
- name: factuality_A
dtype: float64
- name: factuality_B
dtype: float64
- name: easy-to-understand_A
dtype: float64
- name: easy-to-understand_B
dtype: float64
- name: relevance_A
dtype: float64
- name: relevance_B
dtype: float64
- name: readability_A
dtype: float64
- name: readability_B
dtype: float64
- name: enough-detail_A
dtype: float64
- name: enough-detail_B
dtype: float64
- name: biased:_A
dtype: float64
- name: biased:_B
dtype: float64
- name: fail-to-consider-individual-preferences_A
dtype: float64
- name: fail-to-consider-individual-preferences_B
dtype: float64
- name: repetetive_A
dtype: float64
- name: repetetive_B
dtype: float64
- name: fail-to-consider-context_A
dtype: float64
- name: fail-to-consider-context_B
dtype: float64
- name: too-long_A
dtype: float64
- name: too-long_B
dtype: float64
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 20532157.0
num_examples: 9459
- name: test
num_bytes: 20532157.0
num_examples: 9459
download_size: 23638147
dataset_size: 41064314.0
---
# Dataset Card for "shp_with_features_20k"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 名称：帖子ID（post_id），数据类型：字符串
- 名称：领域（domain），数据类型：字符串
- 名称：点赞率（upvote_ratio），数据类型：float64
- 名称：历史记录（history），数据类型：字符串
- 名称：评论根ID A（c_root_id_A），数据类型：字符串
- 名称：评论根ID B（c_root_id_B），数据类型：字符串
- 名称：UTC创建时间 A（created_at_utc_A），数据类型：int64
- 名称：UTC创建时间 B（created_at_utc_B），数据类型：int64
- 名称：得分 A（score_A），数据类型：int64
- 名称：得分 B（score_B），数据类型：int64
- 名称：人类参考文本 A（human_ref_A），数据类型：字符串
- 名称：人类参考文本 B（human_ref_B），数据类型：字符串
- 名称：标签（labels），数据类型：int64
- 名称：时间差（秒）（seconds_difference），数据类型：float64
- 名称：得分比（score_ratio），数据类型：float64
- 名称：有用性 A（helpfulness_A），数据类型：float64
- 名称：具体性 A（specificity_A），数据类型：float64
- 名称：具体性 B（specificity_B），数据类型：float64
- 名称：意图得分 A（intent_A），数据类型：float64
- 名称：意图得分 B（intent_B），数据类型：float64
- 名称：事实性 A（factuality_A），数据类型：float64
- 名称：事实性 B（factuality_B），数据类型：float64
- 名称：易懂性 A（easy-to-understand_A），数据类型：float64
- 名称：易懂性 B（easy-to-understand_B），数据类型：float64
- 名称：相关性 A（relevance_A），数据类型：float64
- 名称：相关性 B（relevance_B），数据类型：float64
- 名称：可读性 A（readability_A），数据类型：float64
- 名称：可读性 B（readability_B），数据类型：float64
- 名称：充足细节度 A（enough-detail_A），数据类型：float64
- 名称：充足细节度 B（enough-detail_B），数据类型：float64
- 名称：偏见性 A（biased:_A），数据类型：float64
- 名称：偏见性 B（biased:_B），数据类型：float64
- 名称：未考虑个体偏好 A（fail-to-consider-individual-preferences_A），数据类型：float64
- 名称：未考虑个体偏好 B（fail-to-consider-individual-preferences_B），数据类型：float64
- 名称：重复度 A（repetetive_A），数据类型：float64
- 名称：重复度 B（repetetive_B），数据类型：float64
- 名称：未考虑上下文 A（fail-to-consider-context_A），数据类型：float64
- 名称：未考虑上下文 B（fail-to-consider-context_B），数据类型：float64
- 名称：过长 A（too-long_A），数据类型：float64
- 名称：过长 B（too-long_B），数据类型：float64
- 名称：索引级别0（__index_level_0__），数据类型：int64
划分集：
- 名称：训练集（train），字节数：20532157.0，样本数：9459
- 名称：测试集（test），字节数：20532157.0，样本数：9459
下载大小：23638147
数据集总大小：41064314.0
---
# "shp_with_features_20k" 数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

"shp_with_features_20k"

数据集特征

• post_id: 字符串类型
• domain: 字符串类型
• upvote_ratio: 浮点数类型
• history: 字符串类型
• c_root_id_A: 字符串类型
• c_root_id_A: 字符串类型
• c_root_id_B: 字符串类型
• created_at_utc_A: 整数类型
• created_at_utc_B: 整数类型
• score_A: 整数类型
• score_B: 整数类型
• human_ref_A: 字符串类型
• human_ref_B: 字符串类型
• labels: 整数类型
• seconds_difference: 浮点数类型
• score_ratio: 浮点数类型
• helpfulness_A: 浮点数类型
• helpfulness_B: 浮点数类型
• specificity_A: 浮点数类型
• specificity_B: 浮点数类型
• intent_A: 浮点数类型
• intent_B: 浮点数类型
• factuality_A: 浮点数类型
• factuality_B: 浮点数类型
• easy-to-understand_A: 浮点数类型
• easy-to-understand_B: 浮点数类型
• relevance_A: 浮点数类型
• relevance_B: 浮点数类型
• readability_A: 浮点数类型
• readability_B: 浮点数类型
• enough-detail_A: 浮点数类型
• enough-detail_B: 浮点数类型
• biased:_A: 浮点数类型
• biased:_B: 浮点数类型
• fail-to-consider-individual-preferences_A: 浮点数类型
• fail-to-consider-individual-preferences_B: 浮点数类型
• repetetive_A: 浮点数类型
• repetetive_B: 浮点数类型
• fail-to-consider-context_A: 浮点数类型
• fail-to-consider-context_B: 浮点数类型
• too-long_A: 浮点数类型
• too-long_B: 浮点数类型
• index_level_0: 整数类型

数据集分割

• train: 9459个样本，占用20532157字节
• test: 9459个样本，占用20532157字节

数据集大小

• 下载大小: 23638147字节
• 数据集大小: 41064314.0字节

搜集汇总

数据集介绍

构建方式

在自然语言处理与人类偏好对齐的研究领域中，高质量偏好数据集的构建至关重要。tomekkorbak/shp_with_features_20k数据集源自Reddit的Shp（Stanford Human Preferences）数据，经过精细筛选与特征工程处理而成。该数据集从原始数据中抽取了约20,000个样本，每个样本包含一对回答（A与B），并附有基于人类标注的偏好标签（labels）。构建过程中，不仅保留了基础的元数据如帖子ID、领域、点赞比等，还通过自动化工具计算了回答在帮助性、具体性、意图、事实性、易懂性、相关性、可读性、细节充分性、偏见、个体偏好忽视、重复性、上下文忽视、过长等多个维度上的质量分数，从而形成了丰富的特征体系。数据被划分为训练集与测试集，各含9,459个样本，确保了模型评估的可靠性。

特点

该数据集的核心特色在于其多维度的质量评估特征，超越了传统二元偏好标签的局限。每个回答均被量化在13个细粒度维度上，包括helpfulness、specificity、intent、factuality等，使得研究者能够深入分析模型输出在特定方面的优劣。此外，数据集中还包含了score_A/B、score_ratio等基于社区投票的统计指标，以及seconds_difference等时间相关特征，为偏好建模提供了丰富的上下文信息。这种多特征结构不仅支持传统的偏好学习任务，还能用于探索不同质量维度之间的关联与权衡，为开发更细致、可解释的奖励模型奠定了数据基础。

使用方法

使用该数据集时，研究者可将其加载为HuggingFace Datasets格式，直接应用于偏好学习或奖励模型训练。典型用法是读取每对回答及其对应的labels（通常1表示B优于A），并利用多维特征如helpfulness_A、helpfulness_B作为辅助监督信号。数据集支持灵活的特征选择，用户可根据任务需求提取特定维度进行建模，例如仅使用社区投票指标或结合所有质量分数进行联合优化。训练集与测试集的明确划分便于进行标准化的模型评估。此外，由于数据源自Reddit真实对话，适用于研究在线社区中的回答质量评估与偏好对齐问题，但需注意领域间差异可能带来的泛化挑战。

背景与挑战

背景概述

在自然语言处理与人工智能对齐研究领域，如何精准评估模型生成文本的质量与人类偏好始终是核心课题之一。由Tomek Korbak等研究者于近年创建的shp_with_features_20k数据集，专注于捕捉Reddit社区中用户对回复的投票行为与多维质量指标之间的关联。该数据集从大型社交平台提取近两万个样本，每条数据不仅包含回复的投票比例、分数差异等行为信号，还细粒度标注了帮助性、具体性、意图清晰度、事实准确性、可理解性、相关性、可读性、细节充分性、偏见程度、个性化考虑、上下文敏感性、冗余度及长度适宜性等十余项文本属性。这一设计旨在为偏好学习与奖励建模提供更丰富的监督信号，推动从单一评分到多维度质量评估的范式演进。数据集发布后，已成为研究人类反馈强化学习（RLHF）与对齐技术的重要基准资源之一。

当前挑战

该数据集面临的核心挑战在于如何克服社交平台噪声与偏好信号的稀疏性。首先，Reddit环境中的投票行为易受群体效应、标题党效应及时间偏差影响，导致upvote_ratio与score_ratio等指标难以完全反映真实质量偏好。其次，手动标注的多维属性（如intent、factuality）依赖自动评估工具或众包，其一致性受限于标注指南的模糊性与主观判断差异，尤其在biased、fail-to-consider-individual-preferences等抽象维度上尤为突出。构建过程中，研究者需平衡样本代表性（仅20k样本）与领域覆盖广度，避免因采样偏差导致模型对特定子社区（如技术论坛）的过拟合。此外，时间戳（created_at_utc）与回复顺序的混杂效应需通过seconds_difference等特征显式建模，否则可能混淆因果推断。这些挑战共同制约着数据集在鲁棒奖励模型训练与跨域泛化中的直接应用。

常用场景

经典使用场景

该数据集源自Reddit的Shp（Social Helpfulness Prediction）语料库，精选了约两万条包含多维度标注的对话对，每条样本均涵盖了回答的helpfulness、specificity、factuality等细粒度质量特征。在自然语言处理领域，它被广泛应用于训练和评估偏好对齐模型，尤其是基于人类反馈的强化学习（RLHF）框架。研究者利用该数据集中的对比标签与质量分数，构建奖励模型以捕捉人类对回答质量的偏好，从而为大型语言模型提供细粒度的优化信号，推动生成内容向更精准、更贴合用户需求的方向演进。

衍生相关工作

该数据集衍生了一系列经典工作，尤其在RLHF与偏好学习领域影响深远。其中，基于此数据集训练的奖励模型被广泛应用于开源语言模型的微调流程，如Alpaca、Vicuna等项目的对齐阶段。此外，研究者利用其多维标签开发了细粒度偏好分解方法，将整体偏好拆解为各质量属性的加权组合，代表工作包括Fine-Grained RLHF和Multi-Objective Preference Optimization。这些工作不仅验证了多维标注对偏好预测精度的提升，还推动了从单一奖励信号到多目标优化框架的演进，为构建更符合人类复杂价值观的AI系统奠定了方法论基础。

数据集最近研究

最新研究方向

该数据集聚焦于对话式人工智能中回应质量的多维度评估，特别是从有用性、具体性、意图清晰度、事实准确性、易理解性、相关性、可读性、细节充分性以及潜在偏见等多个细粒度特征对模型输出进行量化分析。在近期前沿研究中，此类细粒度标注数据集被广泛用于训练和评估基于人类反馈的强化学习（RLHF）模型，尤其是在大型语言模型（如ChatGPT、Claude）的对齐优化中扮演关键角色。通过捕捉回应在上下文适应性、用户个性化考虑及避免重复性等方面的表现，该数据集为提升AI助手的可信度与实用性提供了实证基础，推动了从单一偏好评分向多维质量评估的范式转变，对构建更安全、更负责任的生成式AI系统具有深远意义。