sumukshashidhar-testing/test_dataset

---
dataset_info:
- config_name: chunked
features:
- name: document_id
dtype: string
- name: document_text
dtype: string
- name: document_filename
dtype: string
- name: document_metadata
struct:
- name: file_size
dtype: int64
- name: raw_document_summary
dtype: string
- name: document_summary
dtype: string
- name: summarization_model
dtype: string
- name: chunks
list:
- name: chunk_id
dtype: string
- name: chunk_text
dtype: string
- name: multihop_chunks
list:
- name: chunk_ids
sequence: string
- name: chunks_text
sequence: string
- name: chunk_info_metrics
list:
- name: avg_token_length
dtype: float64
- name: bigram_diversity
dtype: float64
- name: flesch_reading_ease
dtype: float64
- name: gunning_fog
dtype: float64
- name: perplexity
dtype: float64
- name: token_count
dtype: float64
- name: unique_token_ratio
dtype: float64
- name: chunking_model
dtype: string
splits:
- name: train
num_bytes: 9394
num_examples: 1
download_size: 39561
dataset_size: 9394
- config_name: ingested
features:
- name: document_id
dtype: string
- name: document_text
dtype: string
- name: document_filename
dtype: string
- name: document_metadata
struct:
- name: file_size
dtype: int64
splits:
- name: train
num_bytes: 2669
num_examples: 1
download_size: 14511
dataset_size: 2669
- config_name: lighteval
features:
- name: question
dtype: string
- name: additional_instructions
dtype: string
- name: ground_truth_answer
dtype: string
- name: question_category
dtype: string
- name: kind
dtype: string
- name: estimated_difficulty
dtype: int64
- name: citations
sequence: string
- name: document_id
dtype: string
- name: chunk_ids
sequence: string
- name: question_generating_model
dtype: string
- name: chunks
sequence: string
- name: document
dtype: string
- name: document_summary
dtype: string
- name: answer_citation_score
dtype: float64
- name: chunk_citation_score
dtype: float64
- name: citation_score
dtype: float64
splits:
- name: train
num_bytes: 62452
num_examples: 14
download_size: 33352
dataset_size: 62452
- config_name: single_shot_questions
features:
- name: chunk_id
dtype: string
- name: document_id
dtype: string
- name: additional_instructions
dtype: string
- name: question
dtype: string
- name: self_answer
dtype: string
- name: estimated_difficulty
dtype: int64
- name: self_assessed_question_type
dtype: string
- name: generating_model
dtype: string
- name: thought_process
dtype: string
- name: raw_response
dtype: string
- name: citations
sequence: string
splits:
- name: train
num_bytes: 71079
num_examples: 14
download_size: 36693
dataset_size: 71079
- config_name: summarized
features:
- name: document_id
dtype: string
- name: document_text
dtype: string
- name: document_filename
dtype: string
- name: document_metadata
struct:
- name: file_size
dtype: int64
- name: raw_document_summary
dtype: string
- name: document_summary
dtype: string
- name: summarization_model
dtype: string
splits:
- name: train
num_bytes: 4751
num_examples: 1
download_size: 25561
dataset_size: 4751
configs:
- config_name: chunked
data_files:
- split: train
path: chunked/train-*
- config_name: ingested
data_files:
- split: train
path: ingested/train-*
- config_name: lighteval
data_files:
- split: train
path: lighteval/train-*
- config_name: single_shot_questions
data_files:
- split: train
path: single_shot_questions/train-*
- config_name: summarized
data_files:
- split: train
path: summarized/train-*
---

数据集信息：
- 配置名称：chunked
特征：
- 字段名：document_id，数据类型：字符串(string)
- 字段名：document_text，数据类型：字符串(string)
- 字段名：document_filename，数据类型：字符串(string)
- 字段名：document_metadata，结构体类型：
- 字段名：file_size，数据类型：64位整数(int64)
- 字段名：raw_document_summary，数据类型：字符串(string)
- 字段名：document_summary，数据类型：字符串(string)
- 字段名：summarization_model，数据类型：字符串(string)
- 字段名：chunks，列表类型：
- 字段名：chunk_id，数据类型：字符串(string)
- 字段名：chunk_text，数据类型：字符串(string)
- 字段名：multihop_chunks，列表类型：
- 字段名：chunk_ids，字符串序列(sequence<string>)
- 字段名：chunks_text，字符串序列(sequence<string>)
- 字段名：chunk_info_metrics，列表类型：
- 字段名：avg_token_length，数据类型：64位浮点数(float64)，意为平均Token(Token)长度
- 字段名：bigram_diversity，数据类型：64位浮点数(float64)，意为二元组多样性
- 字段名：flesch_reading_ease，数据类型：64位浮点数(float64)，意为弗莱施阅读易读性指数
- 字段名：gunning_fog，数据类型：64位浮点数(float64)，意为冈宁雾指数
- 字段名：perplexity，数据类型：64位浮点数(float64)，意为困惑度
- 字段名：token_count，数据类型：64位浮点数(float64)，意为Token数量
- 字段名：unique_token_ratio，数据类型：64位浮点数(float64)，意为唯一Token占比
- 字段名：chunking_model，数据类型：字符串(string)
划分集：
- 名称：train（训练集），字节数：9394，样本数：1
下载大小：39561，数据集总大小：9394
- 配置名称：ingested
特征：
- 字段名：document_id，数据类型：字符串(string)
- 字段名：document_text，数据类型：字符串(string)
- 字段名：document_filename，数据类型：字符串(string)
- 字段名：document_metadata，结构体类型：
- 字段名：file_size，数据类型：64位整数(int64)
划分集：
- 名称：train（训练集），字节数：2669，样本数：1
下载大小：14511，数据集总大小：2669
- 配置名称：lighteval
特征：
- 字段名：question，数据类型：字符串(string)
- 字段名：additional_instructions，数据类型：字符串(string)，意为额外指令
- 字段名：ground_truth_answer，数据类型：字符串(string)，意为标准答案
- 字段名：question_category，数据类型：字符串(string)，意为问题类别
- 字段名：kind，数据类型：字符串(string)，意为类型
- 字段名：estimated_difficulty，数据类型：64位整数(int64)，意为预估难度
- 字段名：citations，字符串序列(sequence<string>)，意为引用列表
- 字段名：document_id，数据类型：字符串(string)
- 字段名：chunk_ids，字符串序列(sequence<string>)，意为分块ID序列
- 字段名：question_generating_model，数据类型：字符串(string)，意为问题生成模型
- 字段名：chunks，字符串序列(sequence<string>)，意为分块文本序列
- 字段名：document，数据类型：字符串(string)，意为文档文本
- 字段名：document_summary，数据类型：字符串(string)，意为文档摘要
- 字段名：answer_citation_score，数据类型：64位浮点数(float64)，意为答案引用得分
- 字段名：chunk_citation_score，数据类型：64位浮点数(float64)，意为分块引用得分
- 字段名：citation_score，数据类型：64位浮点数(float64)，意为引用得分
划分集：
- 名称：train（训练集），字节数：62452，样本数：14
下载大小：33352，数据集总大小：62452
- 配置名称：single_shot_questions
特征：
- 字段名：chunk_id，数据类型：字符串(string)
- 字段名：document_id，数据类型：字符串(string)
- 字段名：additional_instructions，数据类型：字符串(string)，意为额外指令
- 字段名：question，数据类型：字符串(string)
- 字段名：self_answer，数据类型：字符串(string)，意为自生成答案
- 字段名：estimated_difficulty，数据类型：64位整数(int64)，意为预估难度
- 字段名：self_assessed_question_type，数据类型：字符串(string)，意为自评问题类型
- 字段名：generating_model，数据类型：字符串(string)，意为生成模型
- 字段名：thought_process，数据类型：字符串(string)，意为思考过程
- 字段名：raw_response，数据类型：字符串(string)，意为原始响应
- 字段名：citations，字符串序列(sequence<string>)，意为引用列表
划分集：
- 名称：train（训练集），字节数：71079，样本数：14
下载大小：36693，数据集总大小：71079
- 配置名称：summarized
特征：
- 字段名：document_id，数据类型：字符串(string)
- 字段名：document_text，数据类型：字符串(string)
- 字段名：document_filename，数据类型：字符串(string)
- 字段名：document_metadata，结构体类型：
- 字段名：file_size，数据类型：64位整数(int64)
- 字段名：raw_document_summary，数据类型：字符串(string)
- 字段名：document_summary，数据类型：字符串(string)
- 字段名：summarization_model，数据类型：字符串(string)
划分集：
- 名称：train（训练集），字节数：4751，样本数：1
下载大小：25561，数据集总大小：4751
配置项：
- 配置名称：chunked，数据文件：
- 划分集：train，路径：chunked/train-*
- 配置名称：ingested，数据文件：
- 划分集：train，路径：ingested/train-*
- 配置名称：lighteval，数据文件：
- 划分集：train，路径：lighteval/train-*
- 配置名称：single_shot_questions，数据文件：
- 划分集：train，路径：single_shot_questions/train-*
- 配置名称：summarized，数据文件：
- 划分集：train，路径：summarized/train-*