lightonai/nv-embed-supervised-distill-dedup-translated-v2

---
dataset_info:
- config_name: documents
features:
- name: document_id
dtype: int64
- name: document
dtype: string
splits:
- name: miracl_fr
num_bytes: 4950963719
num_examples: 13930215
- name: fiqa_fr
num_bytes: 37051746
num_examples: 34108
- name: trivia_fr
num_bytes: 3455769744
num_examples: 4570492
- name: nq_fr
num_bytes: 592305960
num_examples: 1590294
- name: fever_fr
num_bytes: 152715449
num_examples: 331425
- name: hotpotqa_fr
num_bytes: 219933296
num_examples: 679486
- name: msmarco_fr
num_bytes: 2114487505
num_examples: 5090394
- name: squadv2_fr
num_bytes: 17481122
num_examples: 19029
download_size: 12914879297
dataset_size: 11540708541
- config_name: queries
features:
- name: query_id
dtype: int64
- name: query
dtype: string
splits:
- name: miracl_fr
num_bytes: 65622
num_examples: 1143
- name: fiqa_fr
num_bytes: 531429
num_examples: 5458
- name: trivia_fr
num_bytes: 6162546
num_examples: 60403
- name: nq_fr
num_bytes: 10851783
num_examples: 149419
- name: fever_fr
num_bytes: 7496278
num_examples: 109647
- name: hotpotqa_fr
num_bytes: 10420870
num_examples: 84589
- name: msmarco_fr
num_bytes: 31458732
num_examples: 502904
- name: squadv2_fr
num_bytes: 11098677
num_examples: 130103
download_size: 159298926
dataset_size: 78085937
- config_name: scores
features:
- name: query_id
dtype: int64
- name: document_ids
list: int64
- name: scores
list: float64
splits:
- name: miracl_fr
num_bytes: 304440928
num_examples: 2321
- name: fiqa_fr
num_bytes: 2641920
num_examples: 13760
- name: trivia_fr
num_bytes: 119554752
num_examples: 622681
- name: nq_fr
num_bytes: 24655680
num_examples: 128415
- name: fever_fr
num_bytes: 24216000
num_examples: 126125
- name: hotpotqa_fr
num_bytes: 28969536
num_examples: 150883
- name: msmarco_fr
num_bytes: 101245824
num_examples: 527322
- name: squadv2_fr
num_bytes: 24986880
num_examples: 130140
download_size: 718817868
dataset_size: 630711520
configs:
- config_name: documents
data_files:
- split: fiqa_fr
path: documents/fiqa_fr-*
- split: nq_fr
path: documents/nq_fr-*
- split: fever_fr
path: documents/fever_fr-*
- split: hotpotqa_fr
path: documents/hotpotqa_fr-*
- split: msmarco_fr
path: documents/msmarco_fr-*
- split: squadv2_fr
path: documents/squadv2_fr-*
- split: trivia_fr
path: documents/trivia_fr-*
- split: miracl_fr
path: documents/miracl_fr-*
- config_name: queries
data_files:
- split: fiqa_fr
path: queries/fiqa_fr-*
- split: nq_fr
path: queries/nq_fr-*
- split: trivia_fr
path: queries/trivia_fr-*
- split: fever_fr
path: queries/fever_fr-*
- split: hotpotqa_fr
path: queries/hotpotqa_fr-*
- split: msmarco_fr
path: queries/msmarco_fr-*
- split: squadv2_fr
path: queries/squadv2_fr-*
- split: miracl_fr
path: queries/miracl_fr-*
- config_name: scores
data_files:
- split: fiqa_fr
path: scores/fiqa_fr-*
- split: nq_fr
path: scores/nq_fr-*
- split: fever_fr
path: scores/fever_fr-*
- split: hotpotqa_fr
path: scores/hotpotqa_fr-*
- split: msmarco_fr
path: scores/msmarco_fr-*
- split: squadv2_fr
path: scores/squadv2_fr-*
- split: trivia_fr
path: scores/trivia_fr-*
- split: miracl_fr
path: scores/miracl_fr-*
---

数据集信息：
1. 配置名称：documents（文档配置）
特征字段：
- 字段名：document_id（文档ID），数据类型：64位整数（int64）
- 字段名：document（文档文本），数据类型：字符串（string）
数据划分：
- 划分名：miracl_fr，字节数：4950963719，样本数：13930215
- 划分名：fiqa_fr，字节数：37051746，样本数：34108
- 划分名：trivia_fr，字节数：3455769744，样本数：4570492
- 划分名：nq_fr，字节数：592305960，样本数：1590294
- 划分名：fever_fr，字节数：152715449，样本数：331425
- 划分名：hotpotqa_fr，字节数：219933296，样本数：679486
- 划分名：msmarco_fr，字节数：2114487505，样本数：5090394
- 划分名：squadv2_fr，字节数：17481122，样本数：19029
总下载大小：12914879297，总数据集存储大小：11540708541

2. 配置名称：queries（查询配置）
特征字段：
- 字段名：query_id（查询ID），数据类型：64位整数（int64）
- 字段名：query（查询文本），数据类型：字符串（string）
数据划分：
- 划分名：miracl_fr，字节数：65622，样本数：1143
- 划分名：fiqa_fr，字节数：531429，样本数：5458
- 划分名：trivia_fr，字节数：6162546，样本数：60403
- 划分名：nq_fr，字节数：10851783，样本数：149419
- 划分名：fever_fr，字节数：7496278，样本数：109647
- 划分名：hotpotqa_fr，字节数：10420870，样本数：84589
- 划分名：msmarco_fr，字节数：31458732，样本数：502904
- 划分名：squadv2_fr，字节数：11098677，样本数：130103
总下载大小：159298926，总数据集存储大小：78085937

3. 配置名称：scores（得分配置）
特征字段：
- 字段名：query_id（查询ID），数据类型：64位整数（int64）
- 字段名：document_ids（文档ID列表），数据类型：64位整数列表（list[int64]）
- 字段名：scores（得分列表），数据类型：64位浮点数列表（list[float64]）
数据划分：
- 划分名：miracl_fr，字节数：304440928，样本数：2321
- 划分名：fiqa_fr，字节数：2641920，样本数：13760
- 划分名：trivia_fr，字节数：119554752，样本数：622681
- 划分名：nq_fr，字节数：24655680，样本数：128415
- 划分名：fever_fr，字节数：24216000，样本数：126125
- 划分名：hotpotqa_fr，字节数：28969536，样本数：150883
- 划分名：msmarco_fr，字节数：101245824，样本数：527322
- 划分名：squadv2_fr，字节数：24986880，样本数：130140
总下载大小：718817868，总数据集存储大小：630711520

数据集全局配置：
- 配置名称：documents，数据文件映射：
- 划分fiqa_fr：路径为documents/fiqa_fr-*
- 划分nq_fr：路径为documents/nq_fr-*
- 划分fever_fr：路径为documents/fever_fr-*
- 划分hotpotqa_fr：路径为documents/hotpotqa_fr-*
- 划分msmarco_fr：路径为documents/msmarco_fr-*
- 划分squadv2_fr：路径为documents/squadv2_fr-*
- 划分trivia_fr：路径为documents/trivia_fr-*
- 划分miracl_fr：路径为documents/miracl_fr-*
- 配置名称：queries，数据文件映射：
- 划分fiqa_fr：路径为queries/fiqa_fr-*
- 划分nq_fr：路径为queries/nq_fr-*
- 划分trivia_fr：路径为queries/trivia_fr-*
- 划分fever_fr：路径为queries/fever_fr-*
- 划分hotpotqa_fr：路径为queries/hotpotqa_fr-*
- 划分msmarco_fr：路径为queries/msmarco_fr-*
- 划分squadv2_fr：路径为queries/squadv2_fr-*
- 划分miracl_fr：路径为queries/miracl_fr-*
- 配置名称：scores，数据文件映射：
- 划分fiqa_fr：路径为scores/fiqa_fr-*
- 划分nq_fr：路径为scores/nq_fr-*
- 划分fever_fr：路径为scores/fever_fr-*
- 划分hotpotqa_fr：路径为scores/hotpotqa_fr-*
- 划分msmarco_fr：路径为scores/msmarco_fr-*
- 划分squadv2_fr：路径为scores/squadv2_fr-*
- 划分trivia_fr：路径为scores/trivia_fr-*
- 划分miracl_fr：路径为scores/miracl_fr-*