yuntian-deng/openaiwatch

OpenAIWatch数据集旨在监控OpenAI语言模型（包括GPT-3.5-Turbo、GPT-4和GPT-4-Turbo）随时间变化的性能。该数据集通过每小时向这些模型发送提示“用TikZ画一只独角兽：”并使用贪婪解码（温度为0）生成。这种方法旨在评估模型响应的一致性，并记录这些响应的变化。目标是每小时每个模型发送四个请求，但由于间歇性请求失败，实际数据可能有所不同。数据集包含时间戳、模型名称、原始响应和提取的TikZ代码等字段。

原始信息汇总

数据集描述

数据集概述

OpenAIWatch 数据集旨在监测 OpenAI 语言模型（包括 GPT-3.5-Turbo、GPT-4 和 GPT-4-Turbo）随时间的表现。该数据集通过每小时向这些模型发送提示 "Draw a unicorn in TikZ:" 并使用贪婪解码（温度 0）生成。这种方法旨在评估模型响应的一致性，并记录这些响应的变化。目标是每小时每个模型请求四次，但实际数据可能因请求失败而有所不同。

数据字段

• timestamp (timestamp): 每次请求的 UTC 时间戳。
• model (string): 每次请求使用的模型，如 gpt-3.5-turbo 或 gpt-4。
• raw_response (string): OpenAI API 的直接响应。
• tikz_code (string|None): 使用正则表达式 \begin{tikzpicture}.*\end{tikzpicture} 提取的 TikZ 代码，如果没有匹配则返回 None。

数据集信息

• 特征:

  • timestamp: 时间戳类型，UTC 时区。
  • model: 字符串类型。
  • raw_response: 字符串类型。
  • tikz_code: 字符串类型。

• 分割:

  • train: 训练集，包含 74789 个样本，大小为 410038774.0 字节。

• 下载大小: 8275038 字节。

• 数据集大小: 410038774.0 字节。

• 配置:

  • default: 默认配置，数据文件路径为 data/train-*。