ctr4si/reddit_tifu

Reddit TIFU数据集包含Reddit上的帖子，主要来自/r/tifu子版块。数据集分为short和long两种配置，short配置使用标题作为摘要，long配置使用TLDR作为摘要。数据集的特征包括帖子文本、TLDR、标题、点赞数、评论数、得分等。数据集的大小为100K到1M之间，下载文件大小为1.34 GB，生成的数据集大小为229.76 MB。

The Reddit TIFU Dataset comprises posts shared on Reddit, predominantly sourced from the /r/tifu subreddit. The dataset is divided into two configurations: short and long. The short configuration utilizes post titles as summaries, whereas the long configuration employs TLDR sections as summaries. The dataset includes features such as post text, TLDR, post title, upvote count, comment count, and score. The dataset has a scale ranging from 100K to 1M entries, with a downloaded file size of 1.34 GB and a generated dataset size of 229.76 MB.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Reddit TIFU
• 语言: 英语
• 许可证: MIT
• 多语言性: 单语种
• 大小类别: 100K<n<1M
• 源数据: 原始数据
• 任务类别: 摘要生成
• 标签: reddit-posts-summarization

数据集配置

配置名称: short

• 特征:
  • ups: 类型 float32
  • num_comments: 类型 float32
  • upvote_ratio: 类型 float32
  • score: 类型 float32
  • documents: 类型 string
  • tldr: 类型 string
  • title: 类型 string
• 分割:
  • train: 字节数 137715925, 样本数 79740
• 下载大小: 670607856 字节
• 数据集大小: 137715925 字节

配置名称: long

• 特征:
  • ups: 类型 float32
  • num_comments: 类型 float32
  • upvote_ratio: 类型 float32
  • score: 类型 float32
  • documents: 类型 string
  • tldr: 类型 string
  • title: 类型 string
• 分割:
  • train: 字节数 91984758, 样本数 42139
• 下载大小: 670607856 字节
• 数据集大小: 91984758 字节

数据实例

long

• 下载大小: 670.61 MB
• 生成数据集大小: 92.00 MB
• 总磁盘使用量: 762.62 MB
• 示例: json { "ups": 115.0, "num_comments": 23.0, "upvote_ratio": 0.88, "score": 115.0, "documents": "this actually happened a couple of years ago...", "tldr": "confuse a 5th grade girl for a boy in front of half of her class...", "title": "gender-stereotyping" }

short

• 下载大小: 670.61 MB
• 生成数据集大小: 137.75 MB
• 总磁盘使用量: 808.37 MB
• 示例: json { "ups": 50.0, "num_comments": 13.0, "upvote_ratio": 0.77, "score": 50.0, "documents": "i was on skype on my tablet as i went to the toilet...", "tldr": "", "title": "forgetting to pull my underwear down before i pooped." }

数据分割

名称	训练样本数
long	42139
short	79740

搜集汇总

背景与挑战

背景概述

Reddit TIFU数据集收集自Reddit的/r/tifu子版块，包含帖子文本、摘要（TLDR）、标题和互动指标（如点赞数、评论数）。它提供short和long两种配置，分别以标题和TLDR作为摘要，规模在10万到100万条之间，下载文件为1.34 GB，处理后大小为229.76 MB，适用于文本摘要和自然语言处理任务。