holodata/sensai

# ❤️‍🩹 Sensai: Toxic Chat Dataset

Sensai is a toxic chat dataset consists of live chats from Virtual YouTubers' live streams.

Download the dataset from [Kaggle Datasets](https://www.kaggle.com/uetchy/sensai) and join `#livechat-dataset` channel on [holodata Discord](https://holodata.org/discord) for discussions.

## Provenance

- **Source:** YouTube Live Chat events (all streams covered by [Holodex](https://holodex.net), including Hololive, Nijisanji, 774inc, etc)
- **Temporal Coverage:** From 2021-01-15T05:15:33Z
- **Update Frequency:** At least once per month

## Research Ideas

- Toxic Chat Classification
- Spam Detection
- Sentence Transformer for Live Chats

See [public notebooks](https://www.kaggle.com/uetchy/sensai/code) for ideas.

## Files

| filename | summary | size |
| ------------------------- | -------------------------------------------------------------- | -------- |
| `chats_flagged_%Y-%m.csv` | Chats flagged as either deleted or banned by mods (3,100,000+) | ~ 400 MB |
| `chats_nonflag_%Y-%m.csv` | Non-flagged chats (3,100,000+) | ~ 300 MB |

To make it a balanced dataset, the number of `chats_nonflags` is adjusted (randomly sampled) to be the same as `chats_flagged`.
Ban and deletion are equivalent to `markChatItemsByAuthorAsDeletedAction` and `markChatItemAsDeletedAction` respectively.

## Dataset Breakdown

### Chats (`chats_%Y-%m.csv`)

| column | type | description |
| --------------- | ------ | ---------------------------- |
| body | string | chat message |
| membership | string | membership status |
| authorChannelId | string | anonymized author channel id |
| channelId | string | source channel id |

#### Membership status

| value | duration |
| ----------------- | ------------------------- |
| unknown | Indistinguishable |
| non-member | 0 |
| less than 1 month | < 1 month |
| 1 month | >= 1 month, < 2 months |
| 2 months | >= 2 months, < 6 months |
| 6 months | >= 6 months, < 12 months |
| 1 year | >= 12 months, < 24 months |
| 2 years | >= 24 months |

#### Pandas usage

Set `keep_default_na` to `False` and `na_values` to `''` in `read_csv`. Otherwise, chat message like `NA` would incorrectly be treated as NaN value.

```python
import pandas as pd
from glob import iglob

flagged = pd.concat([
pd.read_csv(f,
na_values='',
keep_default_na=False)
for f in iglob('../input/sensai/chats_flagged_*.csv')
],
ignore_index=True)
```

## Consideration

### Anonymization

`authorChannelId` are anonymized by SHA-1 hashing algorithm with a pinch of undisclosed salt.

### Handling Custom Emojis

All custom emojis are replaced with a Unicode replacement character `U+FFFD`.

## Citation

```latex
@misc{sensai-dataset,
author={Yasuaki Uechi},
title={Sensai: Toxic Chat Dataset},
year={2021},
month={8},
version={31},
url={https://github.com/holodata/sensai-dataset}
}
```

## License

- Code: [MIT License](https://github.com/holodata/sensai-dataset/blob/master/LICENSE)
- Dataset: [ODC Public Domain Dedication and Licence (PDDL)](https://opendatacommons.org/licenses/pddl/1-0/index.html)

# ❤️‍🩹 Sensai：有毒聊天数据集

Sensai是一个收录虚拟主播（Virtual YouTuber）直播流实时聊天内容的有毒聊天数据集。

可从[Kaggle数据集](https://www.kaggle.com/uetchy/sensai)下载本数据集，并加入[holodata Discord社区](https://holodata.org/discord)的`#livechat-dataset`频道参与讨论。

## 数据集溯源

- **来源**：YouTube直播聊天事件（覆盖[Holodex](https://holodex.net)收录的全部直播流，包括Hololive、Nijisanji、774inc等社团的内容）
- **时间覆盖范围**：始于2021-01-15T05:15:33Z
- **更新频率**：每月至少更新一次

## 研究方向

- 有毒聊天分类
- 垃圾信息检测
- 面向直播聊天的Sentence Transformer

可参考[公开Notebook](https://www.kaggle.com/uetchy/sensai/code)获取更多研究思路。

## 文件列表

| 文件名 | 摘要 | 大小 |
| ------------------------- | -------------------------------------------------------------- | -------- |
| `chats_flagged_%Y-%m.csv` | 被版主标记为删除或封禁的聊天记录（超310万条） | 约400 MB |
| `chats_nonflag_%Y-%m.csv` | 未被标记的聊天记录（超310万条） | 约300 MB |

为构建均衡数据集，我们对`chats_nonflag`数据集进行随机采样，使其规模与`chats_flagged`保持一致。封禁与删除操作分别对应`markChatItemsByAuthorAsDeletedAction`与`markChatItemAsDeletedAction`。

## 数据集结构

### 聊天记录文件（`chats_%Y-%m.csv`）

| 字段名 | 数据类型 | 说明 |
| --------------- | ------ | ---------------------------- |
| `body` | 字符串 | 聊天消息内容 |
| `membership` | 字符串 | 会员身份状态 |
| `authorChannelId` | 字符串 | 匿名化处理后的作者频道ID |
| `channelId` | 字符串 | 来源频道ID |

#### 会员身份状态说明

| 取值 | 时长说明 |
| ----------------- | ------------------------- |
| `unknown` | 无法区分 |
| `non-member` | 非会员 |
| `less than 1 month` | 入会时长不足1个月 |
| `1 month` | 入会时长≥1个月且<2个月 |
| `2 months` | 入会时长≥2个月且<6个月 |
| `6 months` | 入会时长≥6个月且<12个月 |
| `1 year` | 入会时长≥12个月且<24个月 |
| `2 years` | 入会时长≥24个月 |

#### Pandas使用指南

在使用`pd.read_csv`读取文件时，请将`keep_default_na`参数设为`False`，并将`na_values`参数设为`''`。否则，形如`NA`的聊天消息会被错误识别为缺失值（NaN）。

python
import pandas as pd
from glob import iglob

flagged = pd.concat([
pd.read_csv(f,
na_values='',
keep_default_na=False)
for f in iglob('../input/sensai/chats_flagged_*.csv')
],
ignore_index=True)

## 注意事项

### 匿名化处理

`authorChannelId`字段通过SHA-1哈希算法结合未公开的盐值进行匿名化处理。

### 自定义表情处理

所有自定义表情均被替换为Unicode替换字符`U+FFFD`。

## 引用格式

latex
@misc{sensai-dataset,
author={Yasuaki Uechi},
title={Sensai: Toxic Chat Dataset},
year={2021},
month={8},
version={31},
url={https://github.com/holodata/sensai-dataset}
}

## 许可协议

- 代码：[MIT许可协议](https://github.com/holodata/sensai-dataset/blob/master/LICENSE)
- 数据集：[ODC公共领域奉献与许可协议（PDDL）](https://opendatacommons.org/licenses/pddl/1-0/index.html)

原始信息汇总

数据集概述

数据集名称

Sensai: Toxic Chat Dataset

数据集来源

• 源数据： YouTube Live Chat事件，涵盖了Holodex下的所有直播流，包括Hololive, Nijisanji, 774inc等。
• 时间覆盖： 从2021-01-15T05:15:33Z开始。
• 更新频率： 至少每月更新一次。

数据集内容

文件详情

文件名	概述	大小
chats_flagged_%Y-%m.csv	被标记为删除或被管理员禁止的聊天记录（超过3,100,000条）	约400 MB
chats_nonflag_%Y-%m.csv	未被标记的聊天记录（超过3,100,000条）	约300 MB

数据集结构

聊天记录 (chats_%Y-%m.csv)

列名	类型	描述
body	string	聊天消息
membership	string	会员状态
authorChannelId	string	匿名的作者频道ID
channelId	string	源频道ID

会员状态

值	持续时间
unknown	无法区分
non-member	0
less than 1 month	< 1个月
1 month	>= 1个月，< 2个月
2 months	>= 2个月，< 6个月
6 months	>= 6个月，< 12个月
1 year	>= 12个月，< 24个月
2 years	>= 24个月

数据集处理

匿名化

• authorChannelId 使用SHA-1哈希算法进行匿名处理，并加入未公开的盐值。

处理自定义表情

• 所有自定义表情被替换为Unicode替换字符 U+FFFD。

许可证

• 代码：MIT License
• 数据集：ODC公共领域贡献和许可证(PDDL)