germank/shp_with_features_20k_flan_t5_large

Name: germank/shp_with_features_20k_flan_t5_large
Creator: germank
Published: 2023-05-15 08:49:22
License: 暂无描述

Hugging Face2023-05-15 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/germank/shp_with_features_20k_flan_t5_large

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: post_id dtype: string - name: domain dtype: string - name: upvote_ratio dtype: float64 - name: history dtype: string - name: c_root_id_A dtype: string - name: c_root_id_B dtype: string - name: created_at_utc_A dtype: int64 - name: created_at_utc_B dtype: int64 - name: score_A dtype: int64 - name: score_B dtype: int64 - name: human_ref_A dtype: string - name: human_ref_B dtype: string - name: labels dtype: int64 - name: seconds_difference dtype: float64 - name: score_ratio dtype: float64 - name: helpfulness_A dtype: float64 - name: helpfulness_B dtype: float64 - name: specificity_A dtype: float64 - name: specificity_B dtype: float64 - name: intent_A dtype: float64 - name: intent_B dtype: float64 - name: factuality_A dtype: float64 - name: factuality_B dtype: float64 - name: easy-to-understand_A dtype: float64 - name: easy-to-understand_B dtype: float64 - name: relevance_A dtype: float64 - name: relevance_B dtype: float64 - name: readability_A dtype: float64 - name: readability_B dtype: float64 - name: enough-detail_A dtype: float64 - name: enough-detail_B dtype: float64 - name: biased:_A dtype: float64 - name: biased:_B dtype: float64 - name: fail-to-consider-individual-preferences_A dtype: float64 - name: fail-to-consider-individual-preferences_B dtype: float64 - name: repetetive_A dtype: float64 - name: repetetive_B dtype: float64 - name: fail-to-consider-context_A dtype: float64 - name: fail-to-consider-context_B dtype: float64 - name: too-long_A dtype: float64 - name: too-long_B dtype: float64 - name: __index_level_0__ dtype: int64 - name: log_score_A dtype: float64 - name: log_score_B dtype: float64 splits: - name: test num_bytes: 20659940 num_examples: 9459 - name: train num_bytes: 20707062 num_examples: 9459 download_size: 23927350 dataset_size: 41367002 --- # Dataset Card for "shp_with_features_20k_flan_t5_large" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：特征列表： - 帖子ID（post_id）：数据类型为字符串型 - 领域（domain）：数据类型为字符串型 - 点赞率（upvote_ratio）：数据类型为64位浮点型 - 历史记录（history）：数据类型为字符串型 - 评论根ID_A（c_root_id_A）：数据类型为字符串型 - 评论根ID_B（c_root_id_B）：数据类型为字符串型 - UTC创建时间_A（created_at_utc_A）：数据类型为64位整型 - UTC创建时间_B（created_at_utc_B）：数据类型为64位整型 - 社区得分_A（score_A）：数据类型为64位整型 - 社区得分_B（score_B）：数据类型为64位整型 - 人工参考文本_A（human_ref_A）：数据类型为字符串型 - 人工参考文本_B（human_ref_B）：数据类型为字符串型 - 标签（labels）：数据类型为64位整型 - 时间差（秒）（seconds_difference）：数据类型为64位浮点型 - 得分比（score_ratio）：数据类型为64位浮点型 - 有用性_A（helpfulness_A）：数据类型为64位浮点型 - 有用性_B（helpfulness_B）：数据类型为64位浮点型 - 具体性_A（specificity_A）：数据类型为64位浮点型 - 具体性_B（specificity_B）：数据类型为64位浮点型 - 意图贴合度_A（intent_A）：数据类型为64位浮点型 - 意图贴合度_B（intent_B）：数据类型为64位浮点型 - 事实性_A（factuality_A）：数据类型为64位浮点型 - 事实性_B（factuality_B）：数据类型为64位浮点型 - 易懂性_A（easy-to-understand_A）：数据类型为64位浮点型 - 易懂性_B（easy-to-understand_B）：数据类型为64位浮点型 - 相关性_A（relevance_A）：数据类型为64位浮点型 - 相关性_B（relevance_B）：数据类型为64位浮点型 - 可读性_A（readability_A）：数据类型为64位浮点型 - 可读性_B（readability_B）：数据类型为64位浮点型 - 细节充足度_A（enough-detail_A）：数据类型为64位浮点型 - 细节充足度_B（enough-detail_B）：数据类型为64位浮点型 - 偏见性_A（biased:_A）：数据类型为64位浮点型 - 偏见性_B（biased:_B）：数据类型为64位浮点型 - 未考虑个体偏好_A（fail-to-consider-individual-preferences_A）：数据类型为64位浮点型 - 未考虑个体偏好_B（fail-to-consider-individual-preferences_B）：数据类型为64位浮点型 - 重复性_A（repetetive_A）：数据类型为64位浮点型 - 重复性_B（repetetive_B）：数据类型为64位浮点型 - 未考虑上下文_A（fail-to-consider-context_A）：数据类型为64位浮点型 - 未考虑上下文_B（fail-to-consider-context_B）：数据类型为64位浮点型 - 过长_A（too-long_A）：数据类型为64位浮点型 - 过长_B（too-long_B）：数据类型为64位浮点型 - 索引列_0（__index_level_0__）：数据类型为64位整型 - 对数得分_A（log_score_A）：数据类型为64位浮点型 - 对数得分_B（log_score_B）：数据类型为64位浮点型数据集划分： - 测试集（test）：字节大小为20659940，样本数量为9459 - 训练集（train）：字节大小为20707062，样本数量为9459 下载大小：23927350，数据集总大小：41367002 # 数据集卡片："shp_with_features_20k_flan_t5_large" [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

germank

原始信息汇总

数据集概述

特征信息

数据集包含以下特征：

post_id: 字符串类型
domain: 字符串类型
upvote_ratio: 浮点数类型
history: 字符串类型
c_root_id_A: 字符串类型
c_root_id_B: 字符串类型
created_at_utc_A: 整数类型
created_at_utc_B: 整数类型
score_A: 整数类型
score_B: 整数类型
human_ref_A: 字符串类型
human_ref_B: 字符串类型
labels: 整数类型
seconds_difference: 浮点数类型
score_ratio: 浮点数类型
helpfulness_A: 浮点数类型
helpfulness_B: 浮点数类型
specificity_A: 浮点数类型
specificity_B: 浮点数类型
intent_A: 浮点数类型
intent_B: 浮点数类型
factuality_A: 浮点数类型
factuality_B: 浮点数类型
easy-to-understand_A: 浮点数类型
easy-to-understand_B: 浮点数类型
relevance_A: 浮点数类型
relevance_B: 浮点数类型
readability_A: 浮点数类型
readability_B: 浮点数类型
enough-detail_A: 浮点数类型
enough-detail_B: 浮点数类型
biased:_A: 浮点数类型
biased:_B: 浮点数类型
fail-to-consider-individual-preferences_A: 浮点数类型
fail-to-consider-individual-preferences_B: 浮点数类型
repetetive_A: 浮点数类型
repetetive_B: 浮点数类型
fail-to-consider-context_A: 浮点数类型
fail-to-consider-context_B: 浮点数类型
too-long_A: 浮点数类型
too-long_B: 浮点数类型
__index_level_0__: 整数类型
log_score_A: 浮点数类型
log_score_B: 浮点数类型

数据分割

数据集分为以下部分：

test: 包含9459个样本，大小为20659940字节
train: 包含9459个样本，大小为20707062字节

数据集大小

下载大小: 23927350字节
数据集总大小: 41367002字节

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，偏好对齐是提升生成模型质量的关键环节。germank/shp_with_features_20k_flan_t5_large数据集基于Reddit社区中的用户交互数据构建，专注于捕捉人类对文本回复的偏好判断。该数据集从原始帖子中提取成对回复，每对包含两个候选回答（A与B），并关联其对应的投票分数、时间戳及帖子元信息。通过引入FLAN-T5-large模型对回复进行多维度的自动评估，数据集生成了包括helpfulness、specificity、factuality等在内的数十项细粒度特征分数，从而将原始的用户隐式偏好信号转化为结构化的显式标注。最终数据集被划分为训练集与测试集，各包含9459个样本，确保模型训练与评估的均衡性。

使用方法

该数据集主要适用于基于人类反馈的强化学习（RLHF）及偏好对齐研究。使用者可直接加载训练集与测试集，利用labels字段作为偏好标签，训练奖励模型或进行直接偏好优化。多维特征分数可作为辅助监督信号或用于构建细粒度的偏好模型，例如通过回归任务预测各维度的分数差异。在评估阶段，研究者可借助丰富的特征字段分析模型在不同质量维度上的表现，从而定位改进方向。数据集兼容HuggingFace Datasets库，支持快速集成至现有训练流程，同时其结构化的特征设计也便于进行消融实验或特征重要性分析。

背景与挑战

背景概述

在自然语言处理领域，随着大规模语言模型的蓬勃发展，如何有效评估模型生成的文本质量成为关键问题。该数据集由研究者基于Reddit的Social Helpfulness Prediction（SHP）数据构建，并利用Flan-T5-large模型提取了包括有用性、具体性、意图性、事实性、易理解性、相关性、可读性、细节充分性、偏见程度、对个体偏好的考虑、重复性、上下文考虑及长度适中程度在内的多维特征。数据集创建于2023年前后，核心研究问题在于通过细粒度的文本质量特征，为模型输出提供更全面的自动评估指标。该数据集对模型对齐与评估领域产生了重要影响，为研究者提供了从多维度理解模型生成行为的数据基础。

当前挑战

该数据集面临的核心挑战在于领域问题的复杂性：传统单一指标难以全面衡量生成文本的质量，而该数据集试图通过多维特征捕捉文本的细微差异，但特征间的相关性与冗余性增加了建模难度。构建过程中的挑战尤为显著，首先需要从海量Reddit评论中筛选出具有明确投票偏好的对比样本，这一过程涉及噪声数据清洗与标注一致性维护；其次，利用Flan-T5-large提取特征时，模型本身的偏差可能渗透到特征表示中；此外，特征维度高达数十个，如何在不丢失信息的前提下进行有效降维，以及确保不同领域文本的特征可比性，均是亟待解决的难题。

常用场景

经典使用场景

该数据集基于Reddit社区中用户对评论的投票行为，结合了FLAN-T5-large模型提取的多维质量特征（如有用性、具体性、事实性、可读性等），为自然语言处理领域提供了用于评估和比较文本回复质量的基准资源。其经典使用场景在于训练和评测偏好对齐模型，特别是在强化学习从人类反馈（RLHF）框架中，作为奖励模型的训练数据，用以学习人类对回复质量的偏好判断。

解决学术问题

在学术研究中，该数据集核心解决了如何量化与预测人类对文本回复的主观偏好这一难题。通过提供包含细粒度质量维度评分（如偏见程度、上下文考量、冗余度等）的标注数据，研究者得以系统性地分析不同质量属性对用户投票行为的影响，从而推动可解释性偏好建模的发展。这为改进大语言模型的输出质量评估标准提供了实证基础。

实际应用

实际应用中，该数据集可被用于构建内容审核与推荐系统的质量评分模块，例如在社交媒体平台自动筛选高价值评论、优化用户生成内容的排序算法。此外，在对话系统开发中，它能够辅助模型生成更符合人类期望的回复，提升客服机器人、教育辅导系统等场景下的交互体验。

数据集最近研究