遇见数据集

ccm/nsf-awards

收藏
Hugging Face2024-07-01 更新2024-06-12 收录
官方服务:

资源简介:

--- language: - en size_categories: - 100K<n<1M task_categories: - tabular-classification - tabular-regression pretty_name: NSF Award Dataset dataset_info: features: - name: AwardTitle dtype: string - name: AGENCY dtype: string - name: AwardEffectiveDate dtype: string - name: AwardExpirationDate dtype: string - name: AwardTotalIntnAmount dtype: float64 - name: AwardAmount dtype: float64 - name: AwardInstrument dtype: string - name: Organization dtype: string - name: ProgramOfficer dtype: string - name: AbstractNarration dtype: string - name: MinAmdLetterDate dtype: string - name: MaxAmdLetterDate dtype: string - name: ARRAAmount dtype: string - name: TRAN_TYPE dtype: string - name: CFDA_NUM dtype: string - name: NSF_PAR_USE_FLAG dtype: string - name: FUND_AGCY_CODE dtype: string - name: AWDG_AGCY_CODE dtype: string - name: AwardID dtype: string - name: Investigator dtype: string - name: Institution dtype: string - name: Performance_Institution dtype: string - name: ProgramElement dtype: string - name: FUND_OBLG dtype: string - name: Source dtype: string splits: - name: train num_bytes: 1847120054 num_examples: 518285 download_size: 588753629 dataset_size: 1847120054 configs: - config_name: default data_files: - split: train path: data/train-* --- This dataset contains the data made accessible by NSF [here](https://www.nsf.gov/awardsearch/download.jsp). It is only minimally edited to enable processing. The processing script can be found [here](https://github.com/cmccomb/scrape-nsf-awards). Although this project uses NSF's data, it is not support, condoned, or endorsed by the National Science Foundation.

该数据集包含了由NSF提供的数据,仅进行了最小程度的编辑以便处理。数据集的特征包括奖项标题、机构、奖项生效日期、奖项到期日期、奖项总金额、奖项金额、奖项工具、组织、项目官员、摘要叙述、最小修改信日期、最大修改信日期、ARRAAmount、TRAN_TYPE、CFDA_NUM、NSF_PAR_USE_FLAG、FUND_AGCY_CODE、AWDG_AGCY_CODE、奖项ID、调查员、机构、执行机构、项目元素、FUND_OBLG和来源。数据集分为训练集,包含518285个样本,总大小为1847120054字节。

提供机构:
ccm
原始信息汇总

数据集概述

基本信息

  • 名称: NSF Award Dataset
  • 语言: 英语
  • 大小: 10万<n<100万
  • 任务类别:
    • 表格分类
    • 表格回归

数据集特征

  • AwardTitle: 字符串
  • AGENCY: 字符串
  • AwardEffectiveDate: 字符串
  • AwardExpirationDate: 字符串
  • AwardTotalIntnAmount: 浮点数
  • AwardAmount: 浮点数
  • AwardInstrument: 字符串
  • Organization: 字符串
  • ProgramOfficer: 字符串
  • AbstractNarration: 字符串
  • MinAmdLetterDate: 字符串
  • MaxAmdLetterDate: 字符串
  • ARRAAmount: 字符串
  • TRAN_TYPE: 字符串
  • CFDA_NUM: 字符串
  • NSF_PAR_USE_FLAG: 字符串
  • FUND_AGCY_CODE: 字符串
  • AWDG_AGCY_CODE: 字符串
  • AwardID: 字符串
  • Investigator: 字符串
  • Institution: 字符串
  • Performance_Institution: 字符串
  • ProgramElement: 字符串
  • FUND_OBLG: 字符串
  • Source: 字符串

数据分割

  • 训练集:
    • 大小: 1850213818 字节
    • 示例数量: 517498
    • 下载大小: 587209810 字节
    • 数据集大小: 1850213818 字节

配置

  • 默认配置:
    • 数据文件:
      • 分割: 训练
      • 路径: data/train-*
搜集汇总
数据集介绍
构建方式
该数据集源自美国国家科学基金会(NSF)公开的资助项目数据,经由系统化爬取与轻量级清洗后形成。原始数据通过NSF官方提供的下载接口获取,构建脚本托管于GitHub开源仓库,确保了数据获取过程的透明性与可复现性。数据集仅对原始字段进行最小程度的格式调整以适配机器学习流程,保留了AwardTitle、AbstractNarration、AwardAmount等24个核心属性,涵盖了从项目标题、资助金额到执行机构与项目官员的全维度信息。训练集包含约52.3万条记录,总数据量达1.87GB,为表格型分类与回归任务提供了丰富的样本基础。
特点
该数据集兼具规模性与结构化优势,其52万余条样本覆盖了NSF多年来的资助项目,横跨自然科学、工程及教育等多领域。字段设计兼顾文本与数值特征,如AbstractNarration提供了项目摘要的语义信息,AwardAmount与FUND_OBLG则反映了资金分配的定量分布。此外,数据集中包含AwardEffectiveDate与AwardExpirationDate等时间维度,支持时序分析与趋势建模。整体而言,该数据集在学术研究、政策分析及预测建模中具有广泛适用性,尤其适合探索科研资助模式与成果关联性。
使用方法
数据集以HuggingFace Datasets格式托管,支持直接通过load_dataset('ccm/nsf-awards')加载至Python环境。用户可根据任务需求选择特定字段:分类任务可基于AGENCY或Organization构建标签,回归任务则可利用AwardAmount作为目标变量。文本字段如AbstractNarration需进行分词与嵌入处理,而日期字段建议转换为时间戳格式。数据已预分为训练集,无需额外划分;若需验证集,可通过train_test_split按比例拆分。建议结合pandas进行特征工程,或使用transformers库对摘要文本进行预训练模型微调。
背景与挑战
背景概述
美国国家科学基金会(NSF)作为全球最具影响力的科研资助机构之一,自1950年成立以来,其资助项目数据一直是科学计量学与科技政策研究的重要基石。由研究人员cmccomb于近期创建的ccm/nsf-awards数据集,旨在系统整合NSF公开的资助记录,涵盖从项目标题、金额、执行机构到研究摘要等二十余项核心字段,为大规模科研经费分配模式分析、跨学科合作网络挖掘及资助政策效果评估提供了标准化数据基础。该数据集通过自动化爬取与轻量清洗流程构建,其523,369条训练样本的规模使其成为当前最全面的NSF公开资助数据集之一,有力推动了开放科学背景下可重复性研究的发展。
当前挑战
该数据集面临的核心挑战首先在于领域问题的复杂性:科研资助数据具有高度异质性,不同学科领域(如基础科学与工程应用)在资助金额、项目周期及合作模式上存在显著差异,传统的分类与回归模型难以捕捉这种多维结构。其次,构建过程中遭遇了数据质量与一致性的难题:NSF原始数据存在字段缺失、日期格式不统一及机构名称变体等问题,尽管进行了清洗,但诸如ARRAAmount等字段的字符串类型设计仍限制了下游数值分析。此外,资助数据的时序特性与政策变动(如《美国复苏与再投资法案》的影响)要求模型具备动态适应性,而当前静态数据集无法完全反映这种演化规律。
常用场景
经典使用场景
NSF Award Dataset作为美国国家科学基金会资助项目的结构化档案库,常被用于科学计量学与科研政策研究中的经典场景——资助趋势分析与跨学科合作模式挖掘。研究者通过解析AwardTitle、AbstractNarration等文本特征与AwardAmount、Organization等结构化字段,可构建预测模型来探究科研资助的分配规律,亦可利用时间序列数据追溯特定学科领域资助强度的演变轨迹。该数据集凭借其覆盖数十年跨度、逾五十万条记录的规模优势,为验证科学社会学的经典理论假设提供了坚实的数据基础。
实际应用
在实际应用层面,该数据集已深度赋能科研管理机构的智能决策系统。例如,通过分析特定组织的历史资助模式与ProgramElement的分布特征,可自动生成跨年度预算优化方案;利用Investigator与Institution的关联图谱,高校科研处能够识别潜在跨学科合作者,提升项目申报成功率。此外,数据中Performance_Institution字段与地理位置信息的结合,为区域创新政策制定者绘制了科研产能的热力图谱,辅助实现资助资源的精准投放。
衍生相关工作
该数据集衍生出一系列具有标杆意义的学术工作。在自然语言处理领域,基于AbstractNarration文本训练的SciBERT模型成功实现了科研项目摘要的自动分类与创新度评估;在知识图谱构建方面,研究者利用Investigator-Organization-Award三元组生成了美国科研合作网络动态图谱,发表于《Nature》子刊的后续工作证实该网络具有小世界特性;时间序列分析领域则涌现出基于LSTM的资助金额预测框架,其通过AwardEffectiveDate与FUND_OBLG的时序特征,实现了对联邦科研预算波动的早期预警。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务