UnderstandLing/oasst1_nl

---
license: apache-2.0
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 85215676
num_examples: 83087
- name: validation
num_bytes: 4058311
num_examples: 3946
download_size: 28670832
dataset_size: 89273987
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

许可证：Apache-2.0
数据集信息：
特征列表：
- 名称：消息ID（message_id），数据类型：字符串
- 名称：父消息ID（parent_id），数据类型：字符串
- 名称：用户ID（user_id），数据类型：字符串
- 名称：创建日期（created_date），数据类型：字符串
- 名称：文本内容（text），数据类型：字符串
- 名称：角色（role），数据类型：字符串
- 名称：语言（lang），数据类型：字符串
- 名称：审核次数（review_count），数据类型：64位整数
- 名称：审核结果（review_result），数据类型：布尔型
- 名称：是否已删除（deleted），数据类型：布尔型
- 名称：排序分值（rank），数据类型：64位浮点数
- 名称：合成数据标记（synthetic），数据类型：布尔型
- 名称：模型名称（model_name），数据类型：空值
- 名称：毒性检测模块（detoxify），结构体包含以下字段：
- 名称：身份攻击评分（identity_attack），数据类型：64位浮点数
- 名称：侮辱性评分（insult），数据类型：64位浮点数
- 名称：淫秽内容评分（obscene），数据类型：64位浮点数
- 名称：严重毒性评分（severe_toxicity），数据类型：64位浮点数
- 名称：色情内容评分（sexual_explicit），数据类型：64位浮点数
- 名称：威胁性评分（threat），数据类型：64位浮点数
- 名称：总毒性评分（toxicity），数据类型：64位浮点数
- 名称：消息树ID（message_tree_id），数据类型：字符串
- 名称：消息树状态（tree_state），数据类型：字符串
- 名称：表情符号（emojis），结构体包含以下字段：
- 名称：数量序列（count），数据类型：64位整数序列
- 名称：名称序列（name），数据类型：字符串序列
- 名称：标签（labels），结构体包含以下字段：
- 名称：标签数量序列（count），数据类型：64位整数序列
- 名称：标签名称序列（name），数据类型：字符串序列
- 名称：标签值序列（value），数据类型：64位浮点数序列
数据集划分：
- 划分名称：训练集（train），字节占用大小：85215676，样本数量：83087
- 划分名称：验证集（validation），字节占用大小：4058311，样本数量：3946
下载总大小：28670832，数据集总占用大小：89273987
配置项：
- 配置名称：默认配置（default），数据文件路径：
- 训练集对应路径：data/train-*
- 验证集对应路径：data/validation-*

原始信息汇总

数据集概述

数据集信息

• 特征列表:
  • message_id: 字符串类型
  • parent_id: 字符串类型
  • user_id: 字符串类型
  • created_date: 字符串类型
  • text: 字符串类型
  • role: 字符串类型
  • lang: 字符串类型
  • review_count: 64位整数类型
  • review_result: 布尔类型
  • deleted: 布尔类型
  • rank: 64位浮点数类型
  • synthetic: 布尔类型
  • model_name: 空类型
  • detoxify: 结构体类型，包含以下字段:
    • identity_attack: 64位浮点数类型
    • insult: 64位浮点数类型
    • obscene: 64位浮点数类型
    • severe_toxicity: 64位浮点数类型
    • sexual_explicit: 64位浮点数类型
    • threat: 64位浮点数类型
    • toxicity: 64位浮点数类型
  • message_tree_id: 字符串类型
  • tree_state: 字符串类型
  • emojis: 结构体类型，包含以下字段:
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
  • labels: 结构体类型，包含以下字段:
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
    • value: 序列化的64位浮点数类型

数据分割

• 训练集:
  • 字节数: 85215676
  • 样本数: 83087
• 验证集:
  • 字节数: 4058311
  • 样本数: 3946

数据集大小

• 下载大小: 28670832 字节
• 数据集大小: 89273987 字节

配置

• 默认配置:
  • 训练集路径: data/train-*
  • 验证集路径: data/validation-*