Mechanistic-Anomaly-Detection/pythia-1.4b-deduped-memorized

---
dataset_info:
features:
- name: prompt
dtype: string
- name: completion
dtype: string
splits:
- name: memorized_train
num_bytes: 2420152
num_examples: 7000
- name: memorized_eval
num_bytes: 1024571
num_examples: 3000
- name: non_memorized_train
num_bytes: 2782085
num_examples: 7000
- name: non_memorized_eval
num_bytes: 1190842
num_examples: 3000
download_size: 4166609
dataset_size: 7417650
configs:
- config_name: default
data_files:
- split: memorized_train
path: data/memorized_train-*
- split: memorized_eval
path: data/memorized_eval-*
- split: non_memorized_train
path: data/non_memorized_train-*
- split: non_memorized_eval
path: data/non_memorized_eval-*
---

数据集信息：
特征：
- 字段名：提示词（prompt），数据类型：字符串
- 字段名：补全内容（completion），数据类型：字符串
数据集划分：
- 划分名称：记忆化训练集（memorized_train），字节数：2420152，样本数：7000
- 划分名称：记忆化验证集（memorized_eval），字节数：1024571，样本数：3000
- 划分名称：非记忆化训练集（non_memorized_train），字节数：2782085，样本数：7000
- 划分名称：非记忆化验证集（non_memorized_eval），字节数：1190842，样本数：3000
下载大小：4166609 字节，数据集总大小：7417650 字节
配置项：
- 配置名：默认（default），数据文件：
- 划分：记忆化训练集，路径：data/memorized_train-*
- 划分：记忆化验证集，路径：data/memorized_eval-*
- 划分：非记忆化训练集，路径：data/non_memorized_train-*
- 划分：非记忆化验证集，路径：data/non_memorized_eval-*