Qdrant/NOAA-Buoy

该数据集包含NOAA浮标的气象数据，适用于表格嵌入场景。数据分为两部分：一部分是从1980年到2022年的数据，另一部分是从2023年1月到9月的数据。数据集主要用于表格数据的特征提取、分类和时间序列预测，特别是用于异常检测。数据经过清洗和处理，包括时间戳的创建、缺失数据的处理、不一致字段的修正等。

This dataset contains meteorological data from NOAA buoys, tailored for table embedding applications. The dataset is split into two subsets: one covers the period from 1980 to 2022, and the other spans from January to September 2023. It is primarily intended for feature extraction, classification, and time series forecasting on tabular data, with a particular focus on anomaly detection. The data has been cleaned and preprocessed, including timestamp creation, handling of missing values, and correction of inconsistent fields.

原始信息汇总

NOAA Buoy 气象数据

数据集描述

数据集详情

NOAA Buoy 数据是从1980年至2023年下载、处理和清洗的气象测量数据。数据集包括两个部分：

1. 1980年至2022年的数据（文件名中标记为"years"）
2. 2023年1月至2023年9月的数据（文件名中标记为"2023"）

数据集主要用于表格数据的异常检测。

数据字段

数据字段包括：

• TSTMP: timestamp
• #YY: #yr
• MM: mo
• DD: dy
• hh: hr
• mm: mn
• WDIR: degT
• WSPD: m/s
• GST: m/s
• WVHT: m
• DPD: sec
• APD: sec
• MWD   : degT
• PRES: hPa
• ATMP: degC
• WTMP: degC

数据集创建

数据处理

数据处理步骤包括：

1. 将年、月、日、时、分拼接成时间戳并存储在新列中。
2. 1980年至2005年没有分钟记录，这些年的分钟设置为00。
3. 所有缺失数据设置为空白值。
4. 删除所有缺少波浪数据的行。
5. 删除因持续缺失值而被移除的列。
6. 2005年至2006年，风向从WD改为WDIR。
7. 2006年至2007年，标题从单行变量名改为两行，第二行为单位。

进一步处理

数据集进一步处理包括：

1. 所有数据值转换为Z分数。
2. 1980年至2022年，删除所有具有2个或更多字段Z分数大于2的行。

用途

直接用途

主要用于表格数据和嵌入，特别是异常检测。

搜集汇总

背景与挑战

背景概述

该数据集为NOAA浮标气象数据，包含1980年至2022年及2023年部分时间段的气象和海洋测量变量（如风速、气压、水温等），主要用于表格数据嵌入和异常检测任务。数据集规模中等（10万-100万条），但存在列名不一致问题导致生成错误，预览数据仍可用。