WildChat-4.8M

WildChat-4.8M是一个包含约319万次人类用户与ChatGPT之间对话的数据集。这个版本仅包含由OpenAI Moderations API或Detoxify标记为非毒性的用户输入和ChatGPT回复。数据集包括状态、国家、散列的IP地址、请求头部以及完整的对话记录。数据集中包含了用户与聊天机器人的各种交互，如模棱两可的请求、代码切换、话题转换、政治辩论等。此外，还包含来自推理模型'o1-preview'和'o1-mini'的11万8千多次非毒性对话。

WildChat-4.8M is a dataset comprising approximately 3.19 million conversations between human users and ChatGPT. This version only retains user inputs and ChatGPT responses flagged as non-toxic by either the OpenAI Moderations API or Detoxify. The dataset includes metadata such as status, country, hashed IP addresses, request headers, as well as full conversation records. It encompasses diverse interactions between users and chatbots, including ambiguous requests, code-switching, topic shifts, political debates, and other scenarios. Additionally, it contains over 118,000 non-toxic conversations derived from the inference models "o1-preview" and "o1-mini".

原始信息汇总

WildChat-4.8M 数据集概述

数据集基本信息

• 数据集名称: WildChat-4.8M
• 许可证: odc-by
• 数据规模: 1M<n<10M
• 任务类别: 文本生成、问答
• 数据量: 3,199,860 个对话
• 数据集大小: 42,645,714,270.24 字节
• 下载大小: 15,282,293,424 字节

数据集来源

• 基础版本: 从 WildChat-4.8M-Full 数据集过滤而来
• 原始对话数: 4,804,190 个对话
• 过滤后对话数: 3,199,860 个非毒性对话
• 过滤掉对话数: 1,543,476 个毒性对话

数据特征

核心字段

• conversation_hash: 对话内容哈希值
• model: OpenAI 模型名称
• timestamp: 对话最后轮次的时间戳
• conversation: 用户/助手对话轮次列表
• turn: 对话轮次数量
• language: 对话语言

对话内容结构

每个对话轮次包含：

• content: 对话内容
• role: 说话者角色（用户或助手）
• language: 检测到的语言
• toxic: 是否包含毒性内容
• redacted: 是否已匿名化处理
• turn_identifier: 唯一标识符

用户信息字段

• hashed_ip: 哈希处理的IP地址
• state: 推断的州/省信息
• country: 推断的国家信息
• header: 请求头信息

模型响应信息

• timestamp: 服务器接收响应时间
• temperature: 温度参数
• top_p: Top-p参数
• token_counter: 令牌计数
• usage: 使用详情统计

内容审核信息

• openai_moderation: OpenAI审核结果
• detoxify_moderation: Detoxify审核结果
• toxic: 整体毒性标记

模型分布

模型系列	对话数量
gpt-4o	1,539,780
gpt-3.5-turbo	688,900
gpt-4.1-mini	634,037
gpt-4	202,915
o1-mini	58,529
o1-preview	53,307
gpt-4-turbo	22,392

特殊特性

• 推理模型对话: 包含 111,836 个来自 o1-preview 和 o1-mini 的非毒性推理模型对话
• 多语言支持: 覆盖数十种语言（早期版本检测到68种）
• 地理位置信息: 包含基于IP地址推断的地理位置数据
• 内容审核: 使用OpenAI Moderation API和Detoxify进行毒性内容过滤

数据处理

• 去标识化: 使用Microsoft Presidio、自定义正则规则和手动调整
• 秘密信息移除: 使用TruffleHog扫描移除已验证的秘密信息
• 毒性过滤: 仅保留被OpenAI Moderations API或Detoxify标记为非毒性的对话

相关资源

• 交互式搜索工具: https://wildvisualizer.com
• WildChat论文: https://arxiv.org/abs/2405.01470
• WildVis论文: https://arxiv.org/abs/2409.03753
• 完整版本: https://huggingface.co/datasets/allenai/WildChat-4.8M-Full

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，构建真实用户交互数据集对理解人机对话模式至关重要。WildChat-4.8M通过收集真实用户与ChatGPT的对话记录构建而成，原始数据经过严格的内容筛选流程，采用OpenAI审核接口与Detoxify工具双重过滤机制，移除了被标记为有害的对话内容。数据预处理阶段运用微软Presidio框架与自定义正则规则进行匿名化处理，并通过TruffleHog扫描清除已验证的敏感信息，最终形成包含319万条非毒性对话的纯净语料库。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用其丰富的对话元数据开展多项研究。在模型训练方面，该数据集适用于指令微调任务，特别是对安全对齐模型的研究具有重要价值。数据分析时可结合对话哈希值与回合标识符进行精准定位，利用语言标签和多轮对话结构研究跨语言对话模式。需要注意的是，若需研究包含有害内容的全版本数据，需另行申请访问权限并提供充分的研究理由。

背景与挑战

背景概述

随着大型语言模型在自然语言处理领域的广泛应用，对真实世界交互数据的需求日益增长。WildChat-4.8M数据集由艾伦人工智能研究所于2024年创建，核心研究团队包括邓云天等学者，旨在通过收集480万条真实用户与ChatGPT的对话记录，为对话生成与问答任务提供大规模训练资源。该数据集聚焦于多语言环境下的开放式对话场景，涵盖代码转换、话题迁移等复杂交互模式，其非毒性筛选机制为安全对齐研究提供了重要基准，显著推动了对话系统在真实应用场景中的适应性研究。

当前挑战

构建过程中面临双重挑战：在领域问题层面，需解决真实对话中存在的语义模糊性、多语言混合及话题跳跃等自然语言理解难题；在数据构建环节，既要通过OpenAI审核API与Detoxify工具精准识别毒性内容，又需利用微软Presidio框架完成用户隐私信息脱敏，同时应对跨地域用户行为差异带来的数据分布异构性。这些技术难点使得数据清洗与质量保障成为数据集构建的核心瓶颈。

常用场景

经典使用场景

在自然语言处理领域，WildChat-4.8M数据集为研究真实场景下的人机对话交互提供了宝贵资源。其包含的319万条非毒性对话记录，覆盖了多语言环境、话题转换及代码混合等复杂情境，尤其适用于训练和评估对话生成模型的泛化能力。通过整合用户的地理位置、设备信息及多轮对话轨迹，该数据集能够模拟真实世界中的开放式交流模式，为构建更自然的对话系统奠定基础。

解决学术问题

该数据集有效解决了对话系统中数据稀缺性与真实性的核心矛盾。通过过滤毒性内容并保留多样化的用户意图，它为研究对话安全性、跨语言理解以及长文本连贯性提供了标准化实验环境。其包含的11万余条推理模型对话记录，进一步推动了复杂推理任务与指令跟随能力的研究，填补了真实交互数据在学术评估中的空白。

实际应用

在实际部署中，WildChat-4.8M被广泛应用于智能客服系统与个性化助手的优化。企业可利用其多国语言对话样本训练本地化服务机器人，而开发者则通过分析用户请求的分布模式改进意图识别模块。该数据集的地理元数据还能辅助研究文化差异对对话策略的影响，为全球化产品提供数据支撑。

数据集最近研究

最新研究方向

在自然语言处理领域，大规模对话数据集正推动人机交互研究的深度发展。WildChat-4.8M凭借其480万条真实用户与ChatGPT的交互记录，为探索开放域对话系统的行为模式提供了珍贵资源。当前研究聚焦于多语言语境下的意图理解与话题迁移机制，特别是通过地理元数据分析跨文化对话特征。该数据集内含的11万条推理模型对话记录，为复杂逻辑推理任务的性能优化提供了新视角。随着数据安全治理需求的提升，基于OpenAI与Detoxify双重过滤机制的有害内容识别技术，已成为构建安全对话系统的关键参考。这些进展不仅深化了对大语言模型泛化能力的认知，更为构建下一代负责任人工智能奠定了数据基石。