artefactory/abstention-reranking-benchmark

---
dataset_info:
features:
- name: model_name
dtype: string
- name: dataset_path
dtype: string
- name: num_docs_pr
dtype: int64
- name: random_seed
dtype: int64
- name: queries
sequence: string
- name: positives
sequence:
sequence: string
- name: negatives
sequence:
sequence: string
- name: scores
sequence:
sequence: float64
- name: targets
sequence:
sequence: float64
splits:
- name: test
num_bytes: 2218701030
num_examples: 132
download_size: 1121022682
dataset_size: 2218701030
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

# Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism

## Dataset

This dataset provides the evaluation benchmark used in the paper "Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism", accepted at TMLR (September 2024).

## Paper

For more details on this work, you can read the full paper [here](https://arxiv.org/pdf/2402.12997).

**Citation:**

```
@article{gisserot2024towards,
title={Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism},
author={Gisserot-Boukhlef, Hippolyte and Faysse, Manuel and Malherbe, Emmanuel and Hudelot, C{\'e}line and Colombo, Pierre},
journal={arXiv preprint arXiv:2402.12997},
year={2024}
}
```

dataset_info:
数据集元信息：
特征：
- 名称：model_name
数据类型：字符串（string）
- 名称：dataset_path
数据类型：字符串（string）
- 名称：num_docs_pr
数据类型：64位整数（int64）
- 名称：random_seed
数据类型：64位整数（int64）
- 名称：queries
数据类型：字符串序列（sequence）
- 名称：positives
数据类型：字符串序列的序列（sequence of sequence）
- 名称：negatives
数据类型：字符串序列的序列（sequence of sequence）
- 名称：scores
数据类型：64位浮点数序列的序列（sequence of sequence of float64）
- 名称：targets
数据类型：64位浮点数序列的序列（sequence of sequence of float64）
数据集划分：
- 名称：test
数据字节数：2218701030
样本数量：132
下载总大小：1121022682
数据集总大小：2218701030
配置：
- 配置名称：default
数据文件：
- 划分集：test
路径：data/test-*

---

# 迈向可信赖重排序：一种简洁高效的弃权机制

## 数据集
本数据集为收录于TMLR（2024年9月）的论文《迈向可信赖重排序：一种简洁高效的弃权机制》中所使用的评估基准。

## 论文
如需了解此项研究的更多细节，可点击[此处](https://arxiv.org/pdf/2402.12997)查阅完整论文。

**引用格式：**

@article{gisserot2024towards,
title={迈向可信赖重排序：一种简洁高效的弃权机制},
author={Gisserot-Boukhlef, Hippolyte and Faysse, Manuel and Malherbe, Emmanuel and Hudelot, Céline and Colombo, Pierre},
journal={arXiv preprint arXiv:2402.12997},
year={2024}
}