UnderstandLing/oasst1_it

---
license: apache-2.0
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 90679762
num_examples: 84433
- name: validation
num_bytes: 4742607
num_examples: 4400
download_size: 33292993
dataset_size: 95422369
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

许可证：apache-2.0
数据集信息：
特征字段：
- 名称：message_id（消息ID），数据类型：字符串
- 名称：parent_id（父消息ID），数据类型：字符串
- 名称：user_id（用户ID），数据类型：字符串
- 名称：created_date（创建日期），数据类型：字符串
- 名称：text（文本内容），数据类型：字符串
- 名称：role（角色），数据类型：字符串
- 名称：lang（语言），数据类型：字符串
- 名称：review_count（审核次数），数据类型：64位整数
- 名称：review_result（审核结果），数据类型：布尔值
- 名称：deleted（已删除标记），数据类型：布尔值
- 名称：rank（排序分值），数据类型：64位浮点数
- 名称：synthetic（合成数据标记），数据类型：布尔值
- 名称：model_name（模型名称），数据类型：空值（null）
- 名称：detoxify（毒理性检测模块），结构体：
- 名称：identity_attack（身份攻击），数据类型：64位浮点数
- 名称：insult（侮辱性内容），数据类型：64位浮点数
- 名称：obscene（淫秽内容），数据类型：64位浮点数
- 名称：severe_toxicity（重度毒性），数据类型：64位浮点数
- 名称：sexual_explicit（露骨性内容），数据类型：64位浮点数
- 名称：threat（威胁内容），数据类型：64位浮点数
- 名称：toxicity（毒性程度），数据类型：64位浮点数
- 名称：message_tree_id（消息树ID），数据类型：字符串
- 名称：tree_state（树状态），数据类型：字符串
- 名称：emojis（表情符号），结构体：
- 名称：count（计数），数据类型：整数序列
- 名称：name（名称），数据类型：字符串序列
- 名称：labels（标签），结构体：
- 名称：count（计数），数据类型：整数序列
- 名称：name（名称），数据类型：字符串序列
- 名称：value（数值），数据类型：64位浮点数序列
划分集：
- 名称：train（训练集），字节数：90679762，样本数：84433
- 名称：validation（验证集），字节数：4742607，样本数：4400
下载大小：33292993
数据集总大小：95422369
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分集：train（训练集），路径：data/train-*
- 划分集：validation（验证集），路径：data/validation-*

原始信息汇总

数据集概述

数据集信息

• 特征列表：
  • message_id: 字符串类型
  • parent_id: 字符串类型
  • user_id: 字符串类型
  • created_date: 字符串类型
  • text: 字符串类型
  • role: 字符串类型
  • lang: 字符串类型
  • review_count: 64位整数类型
  • review_result: 布尔类型
  • deleted: 布尔类型
  • rank: 64位浮点数类型
  • synthetic: 布尔类型
  • model_name: 空类型
  • detoxify: 结构体类型，包含以下字段：
    • identity_attack: 64位浮点数类型
    • insult: 64位浮点数类型
    • obscene: 64位浮点数类型
    • severe_toxicity: 64位浮点数类型
    • sexual_explicit: 64位浮点数类型
    • threat: 64位浮点数类型
    • toxicity: 64位浮点数类型
  • message_tree_id: 字符串类型
  • tree_state: 字符串类型
  • emojis: 结构体类型，包含以下字段：
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
  • labels: 结构体类型，包含以下字段：
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
    • value: 序列化的64位浮点数类型

数据分割

• 训练集：
  • 字节数：90679762
  • 样本数：84433
• 验证集：
  • 字节数：4742607
  • 样本数：4400

数据集大小

• 下载大小：33292993字节
• 数据集大小：95422369字节

配置

• 默认配置：
  • 训练集路径：data/train-*
  • 验证集路径：data/validation-*