UniverseTBD/arxiv-bit-flip-cs.LG

--- dataset_info: features: - name: bit dtype: string - name: flip dtype: string - name: title dtype: string - name: categories dtype: string - name: abstract dtype: string - name: authors dtype: string - name: doi dtype: string - name: id dtype: string splits: - name: train num_bytes: 229044314 num_examples: 100039 download_size: 127335112 dataset_size: 229044314 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "arxiv-bit-flip-cs.LG" This dataset contains "Bit-Flips," structured representations extracted from the abstracts of ArXiv papers, specifically in the category of `cs.LG` (Machine Learning). These Bit-Flips aim to encapsulate the essence of the research by identifying the conventional belief or 'status quo' the abstract challenges (Bit) and the counterargument or innovative approach that flips the Bit (Flip). ## Bit-Flip Concept A Bit-Flip serves as a two-part schema: * _Bit_: It identifies the conventional belief or assumption that the research implicitly or explicitly challenges. It is composed of three sentences that are logically connected. * _Flip_: It formulates the counterargument or innovative approach that flips the conventional belief or Bit. It also consists of three logically connected sentences. ## Data Collection The dataset focuses on the ArXiv category of `cs.LG` (Machine Learning). The dataset was created to understand the paradigm shifts or challenges to conventional wisdom that are presented in new research, encapsulated through the Bit-Flip schema. ## Methodology The data was processed using a Python script that performs the following steps: 1. The script generates a custom prompt based on each abstract, using a predefined template that explains the Bit-Flip concept. 2. An Azure model is used to generate a response to the custom prompt. 3. The response is parsed to extract a JSON-like structure containing the Bit and the Flip. 4. Each Bit and Flip is saved along with the title of the paper. 5. The script uses multithreading to speed up the data processing and can handle a batch of abstracts in each run. The processed data is saved in a CSV file.数据集信息： 特征： - 名称：bit（比特），数据类型：字符串 - 名称：flip（翻转），数据类型：字符串 - 名称：title（标题），数据类型：字符串 - 名称：categories（分类），数据类型：字符串 - 名称：abstract（摘要），数据类型：字符串 - 名称：authors（作者），数据类型：字符串 - 名称：doi（数字对象标识符），数据类型：字符串 - 名称：id（标识符），数据类型：字符串 划分集： - 名称：train（训练集），字节数：229044314，样本数：100039 下载大小：127335112，数据集总大小：229044314 配置： - 配置名称：default（默认配置），数据文件： - 划分集：train（训练集），路径：data/train-* # 数据集卡片"arxiv-bit-flip-cs.LG" 本数据集包含"比特翻转（Bit-Flip）"结构化表征，这些表征提取自arXiv预印本平台中`cs.LG`（机器学习，Machine Learning）分类下的论文摘要。比特翻转旨在通过识别研究所挑战的传统认知或"现状"（即Bit），以及颠覆该认知的反向论证或创新方法（即Flip），来凝练研究的核心要义。 ## 比特翻转（Bit-Flip）概念 比特翻转采用双部分结构： * Bit（比特）：指代研究隐式或显式挑战的传统信念或假设，由三个逻辑连贯的句子组成。 * Flip（翻转）：表述颠覆传统信念或Bit的反向论证或创新方法，同样由三个逻辑连贯的句子组成。 ## 数据采集 本数据集聚焦arXiv分类`cs.LG`（机器学习），其构建目的是理解新研究中呈现的范式转变或对传统认知的挑战，并通过比特翻转架构进行封装。 ## 方法论 本数据集通过Python脚本处理得到，具体步骤如下： 1. 基于每篇论文的摘要生成自定义提示词，使用预定义模板阐释比特翻转概念。 2. 调用Azure模型生成针对自定义提示词的响应。 3. 解析响应以提取包含Bit和Flip的类JSON结构。 4. 将每条Bit、Flip与论文标题一同保存。 5. 脚本采用多线程加速数据处理，支持单次运行处理批量摘要，最终将处理后的数据保存为CSV文件。