vwxyzjn/summarize_from_feedback_tldr_3_filtered_oai_preprocessing_pythia-160m_53

--- dataset_info: features: - name: id dtype: string - name: subreddit dtype: string - name: title dtype: string - name: post dtype: string - name: summary dtype: string - name: query_token sequence: int64 - name: query dtype: string - name: reference_response dtype: string - name: reference_response_token sequence: int64 - name: reference_response_token_len dtype: int64 - name: query_reference_response dtype: string - name: query_reference_response_token sequence: int64 - name: query_reference_response_token_len dtype: int64 splits: - name: train num_bytes: 1600440249 num_examples: 116722 - name: validation num_bytes: 88425771 num_examples: 6447 - name: test num_bytes: 89922466 num_examples: 6553 download_size: 551824801 dataset_size: 1778788486 --- # TL;DR SFT Dataset for OpenAI's [Summarize from Feedback](https://openai.com/blog/summarization/) task The dataset is directly taken from https://github.com/openai/summarize-from-feedback/tree/700967448d10004279f138666442bf1497d0e705#reddit-tldr-dataset These columns are taken directly from the aforementioned dataset: * **id**: unique identifier for the post * **subreddit**: subreddit the post was taken from * **title**: title of the post * **post**: body of the post * **summary**: summary of the post * **reference_response**: reference response for the post These columns are added by this preprocessing script: * **query**: length-limited query for summarization: OAI pre-processes the main text (title + subreddit + post), ensuring it has only 512 tokens; if the main text is too long, then it tries to truncate at the last ` `. If it's too short it pads the main text ([summarize_from_feedback/tasks.py#L98-L165](https://github.com/openai/summarize-from-feedback/blob/700967448d10004279f138666442bf1497d0e705/summarize_from_feedback/tasks.py#L98-L165)). Padding is either space or `[PAD]` token (see Args below). * **query_token**: tokenized version of `query` * **reference_response_token**: tokenized version of `reference_response` * **reference_response_token_len**: length of `reference_response_token` * **query_reference_response**: concatenation of `query.strip()` and `reference_response` * **query_reference_response_token**: tokenized version of `query_reference_response`, up to `max_sft_query_response_length` tokens * **query_reference_response_token_len**: length of `query_reference_response_token` # Args ```python {'base_model': 'EleutherAI/pythia-160m', 'hf_entity': 'vwxyzjn', 'max_rm_query_response_length': 638, 'max_rm_response_length': 169, 'max_sft_query_response_length': 562, 'max_sft_response_length': 53} {'format_str': 'SUBREDDIT: r/{subreddit}\n' '\n' 'TITLE: {title}\n' '\n' 'POST: {post}\n' '\n' 'TL;DR:', 'length': 512, 'pad_side': 'left', 'padding': [209], 'truncate_field': 'post', 'truncate_text': '\n'} ```

原始信息汇总

数据集概述

数据集特征

• id: 帖子唯一标识符，数据类型为字符串。
• subreddit: 帖子来源的subreddit，数据类型为字符串。
• title: 帖子标题，数据类型为字符串。
• post: 帖子正文，数据类型为字符串。
• summary: 帖子摘要，数据类型为字符串。
• query_token: query的标记化版本，数据类型为整数序列。
• query: 用于摘要的长度限制查询，数据类型为字符串。
• reference_response: 帖子的参考回复，数据类型为字符串。
• reference_response_token: reference_response的标记化版本，数据类型为整数序列。
• reference_response_token_len: reference_response_token的长度，数据类型为整数。
• query_reference_response: query.strip()和reference_response的连接，数据类型为字符串。
• query_reference_response_token: query_reference_response的标记化版本，数据类型为整数序列。
• query_reference_response_token_len: query_reference_response_token的长度，数据类型为整数。

数据集分割

• train: 训练集，包含116722个样本，总字节数为1600440249。
• validation: 验证集，包含6447个样本，总字节数为88425771。
• test: 测试集，包含6553个样本，总字节数为89922466。

数据集大小

• 下载大小: 551824801字节
• 数据集大小: 1778788486字节