UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB

---
configs:
- config_name: corpus
data_files:
- split: test
path: corpus/test-*
- config_name: default
data_files:
- path: data/test-*
split: test
- config_name: queries_de_en
data_files:
- path: queries_de_en/test-*
split: test
- config_name: queries_es_en
data_files:
- path: queries_es_en/test-*
split: test
- config_name: queries_fr_en
data_files:
- path: queries_fr_en/test-*
split: test
- config_name: queries_it_en
data_files:
- path: queries_it_en/test-*
split: test
- config_name: queries_ja_en
data_files:
- path: queries_ja_en/test-*
split: test
- config_name: queries_ko_en
data_files:
- path: queries_ko_en/test-*
split: test
- config_name: queries_nl_en
data_files:
- path: queries_nl_en/test-*
split: test
- config_name: queries_pt_en
data_files:
- path: queries_pt_en/test-*
split: test
- config_name: queries_zh_en
data_files:
- path: queries_zh_en/test-*
split: test
- config_name: top_ranked
data_files:
- path: top_ranked/test-*
split: test
dataset_info:
- config_name: corpus
features:
- name: _id
dtype: string
- name: text
dtype: string
- name: title
dtype: string
splits:
- name: test
num_bytes: 667643
num_examples: 7220
download_size: 269735
dataset_size: 667643
- config_name: default
features:
- name: query-id
dtype: string
- name: corpus-id
dtype: string
- name: score
dtype: float64
splits:
- name: test
num_examples: 7220
- config_name: queries_de_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_es_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_fr_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_it_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_ja_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_ko_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_nl_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_pt_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: queries_zh_en
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: test
num_examples: 361
- config_name: top_ranked
features:
- name: query-id
dtype: string
- name: corpus-ids
list: string
splits:
- name: test
num_examples: 361
language:
- en
- zh
- ja
- de
- es
- ko
- fr
- it
- pt
- nl
multilinguality: multilingual
task_categories:
- text-retrieval
task_ids: []
tags:
- mteb
- text
- code-switching
- reranking
---

<div align="center" style="padding: 40px 20px; background-color: white; border-radius: 12px; box-shadow: 0 2px 10px rgba(0, 0, 0, 0.05); max-width: 600px; margin: 0 auto;">
<h1 style="font-size: 3.5rem; color: #1a1a1a; margin: 0 0 20px 0; letter-spacing: 2px; font-weight: 700;">AskUbuntuDupQuestions CS-MTEB</h1>
<div style="font-size: 1.5rem; color: #4a4a4a; margin-bottom: 5px; font-weight: 300;">An <a href="https://github.com/embeddings-benchmark/mteb" style="color: #2c5282; font-weight: 600; text-decoration: none;">MTEB</a> dataset</div>
<div style="font-size: 0.9rem; color: #2c5282; margin-top: 10px;">Massive Text Embedding Benchmark</div>
</div>

Code-switching version of [mteb/AskUbuntuDupQuestions](https://huggingface.co/datasets/mteb/AskUbuntuDupQuestions), with queries rewritten in Chinese-English, Japanese-English, German-English, Spanish-English, Korean-English, French-English, Italian-English, Portuguese-English, Dutch-English code-switching styles.

## Dataset Structure

The dataset contains the following configurations:

**From original dataset (unchanged):**
- `corpus`: Original corpus documents
- `default`: Original relevance judgments (qrels)
- `top_ranked`: Top ranked documents for each query

**Code-switching queries:**
- `queries_zh_en`: Chinese-English code-switching queries
- `queries_ja_en`: Japanese-English code-switching queries
- `queries_de_en`: German-English code-switching queries
- `queries_es_en`: Spanish-English code-switching queries
- `queries_ko_en`: Korean-English code-switching queries
- `queries_fr_en`: French-English code-switching queries
- `queries_it_en`: Italian-English code-switching queries
- `queries_pt_en`: Portuguese-English code-switching queries
- `queries_nl_en`: Dutch-English code-switching queries

## Usage

```python
from datasets import load_dataset

# Load code-switching queries
queries_zh = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_zh_en")
queries_ja = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_ja_en")
queries_de = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_de_en")
queries_es = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_es_en")
queries_ko = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_ko_en")
queries_fr = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_fr_en")
queries_it = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_it_en")
queries_pt = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_pt_en")
queries_nl = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_nl_en")

# Load original configs
corpus = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "corpus")
qrels = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "default")
```

## Attribution
Based on [mteb/AskUbuntuDupQuestions](https://huggingface.co/datasets/mteb/AskUbuntuDupQuestions).

## Citation
If you use this dataset, please also cite the original:

```bibtex
@article{enevoldsen2025mmtebmassivemultilingualtext,
title={MMTEB: Massive Multilingual Text Embedding Benchmark},
author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and others},
journal={arXiv preprint arXiv:2502.13595},
year={2025},
url={https://arxiv.org/abs/2502.13595},
doi={10.48550/arXiv.2502.13595},
}

@article{muennighoff2022mteb,
author = {Muennighoff, Niklas and Tazi, Nouamane and Magne, Lo\"{\i}c and Reimers, Nils},
title = {MTEB: Massive Text Embedding Benchmark},
journal={arXiv preprint arXiv:2210.07316},
year = {2022},
url = {https://arxiv.org/abs/2210.07316},
doi = {10.48550/ARXIV.2210.07316},
}
```

<!-- viewer-refresh: 20260415 -->

---
配置项：
- 配置名称：corpus
数据文件：
- 拆分集：test
- 路径：corpus/test-*
- 配置名称：default
数据文件：
- 路径：data/test-*
- 拆分集：test
- 配置名称：queries_de_en
数据文件：
- 路径：queries_de_en/test-*
- 拆分集：test
- 配置名称：queries_es_en
数据文件：
- 路径：queries_es_en/test-*
- 拆分集：test
- 配置名称：queries_fr_en
数据文件：
- 路径：queries_fr_en/test-*
- 拆分集：test
- 配置名称：queries_it_en
数据文件：
- 路径：queries_it_en/test-*
- 拆分集：test
- 配置名称：queries_ja_en
数据文件：
- 路径：queries_ja_en/test-*
- 拆分集：test
- 配置名称：queries_ko_en
数据文件：
- 路径：queries_ko_en/test-*
- 拆分集：test
- 配置名称：queries_nl_en
数据文件：
- 路径：queries_nl_en/test-*
- 拆分集：test
- 配置名称：queries_pt_en
数据文件：
- 路径：queries_pt_en/test-*
- 拆分集：test
- 配置名称：queries_zh_en
数据文件：
- 路径：queries_zh_en/test-*
- 拆分集：test
- 配置名称：top_ranked
数据文件：
- 路径：top_ranked/test-*
- 拆分集：test
数据集信息：
- 配置名称：corpus
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
- 字段名：title
数据类型：字符串（string）
拆分集：
- 名称：test
字节数：667643
样本数：7220
下载大小：269735
数据集总大小：667643
- 配置名称：default
特征：
- 字段名：query-id
数据类型：字符串（string）
- 字段名：corpus-id
数据类型：字符串（string）
- 字段名：score
数据类型：双精度浮点数（float64）
拆分集：
- 名称：test
样本数：7220
- 配置名称：queries_de_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_es_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_fr_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_it_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_ja_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_ko_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_nl_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_pt_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：queries_zh_en
特征：
- 字段名：_id
数据类型：字符串（string）
- 字段名：text
数据类型：字符串（string）
拆分集：
- 名称：test
样本数：361
- 配置名称：top_ranked
特征：
- 字段名：query-id
数据类型：字符串（string）
- 字段名：corpus-ids
数据类型：字符串列表（list: string）
拆分集：
- 名称：test
样本数：361
语言：
- en（英语）
- zh（中文）
- ja（日语）
- de（德语）
- es（西班牙语）
- ko（韩语）
- fr（法语）
- it（意大利语）
- pt（葡萄牙语）
- nl（荷兰语）
多语言属性：多语言
任务类别：
- 文本检索（text-retrieval）
任务ID：无
标签：
- MTEB
- 文本
- 代码切换（code-switching）
- 重排序（reranking）
---

<div align="center" style="padding: 40px 20px; background-color: white; border-radius: 12px; box-shadow: 0 2px 10px rgba(0, 0, 0, 0.05); max-width: 600px; margin: 0 auto;">
<h1 style="font-size: 3.5rem; color: #1a1a1a; margin: 0 0 20px 0; letter-spacing: 2px; font-weight: 700;">AskUbuntuDupQuestions CS-MTEB</h1>
<div style="font-size: 1.5rem; color: #4a4a4a; margin-bottom: 5px; font-weight: 300;">一款<a href="https://github.com/embeddings-benchmark/mteb" style="color: #2c5282; font-weight: 600; text-decoration: none;">大规模文本嵌入基准测试（Massive Text Embedding Benchmark，MTEB）</a>数据集</div>
<div style="font-size: 0.9rem; color: #2c5282; margin-top: 10px;">大规模文本嵌入基准测试</div>
</div>

本数据集为[mteb/AskUbuntuDupQuestions](https://huggingface.co/datasets/mteb/AskUbuntuDupQuestions)的代码切换版本，其查询语句采用汉英、日英、德英、西英、韩英、法英、意英、葡英、荷英的代码切换风格重写而成。

## 数据集结构
本数据集包含以下配置项：
**源自原始数据集（未作修改）：**
- `corpus`：原始语料库文档
- `default`：原始相关性标注（qrels）
- `top_ranked`：各查询对应的Top排名文档

**代码切换查询配置：**
- `queries_zh_en`：汉英代码切换查询语句
- `queries_ja_en`：日英代码切换查询语句
- `queries_de_en`：德英代码切换查询语句
- `queries_es_en`：西英代码切换查询语句
- `queries_ko_en`：韩英代码切换查询语句
- `queries_fr_en`：法英代码切换查询语句
- `queries_it_en`：意英代码切换查询语句
- `queries_pt_en`：葡英代码切换查询语句
- `queries_nl_en`：荷英代码切换查询语句

## 使用方法
python
from datasets import load_dataset

# 加载代码切换查询集
queries_zh = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_zh_en")
queries_ja = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_ja_en")
queries_de = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_de_en")
queries_es = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_es_en")
queries_ko = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_ko_en")
queries_fr = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_fr_en")
queries_it = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_it_en")
queries_pt = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_pt_en")
queries_nl = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "queries_nl_en")

# 加载原始配置项
corpus = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "corpus")
qrels = load_dataset("UTokyo-Yokoya-Lab/AskUbuntuDupQuestions_CS-MTEB", "default")

## 归属说明
本数据集基于[mteb/AskUbuntuDupQuestions](https://huggingface.co/datasets/mteb/AskUbuntuDupQuestions)构建。

## 引用说明
若使用本数据集，请同时引用以下原始文献：
bibtex
@article{enevoldsen2025mmtebmassivemultilingualtext,
title={MMTEB: Massive Multilingual Text Embedding Benchmark},
author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and others},
journal={arXiv preprint arXiv:2502.13595},
year={2025},
url={https://arxiv.org/abs/2502.13595},
doi={10.48550/arXiv.2502.13595},
}

@article{muennighoff2022mteb,
author = {Muennighoff, Niklas and Tazi, Nouamane and Magne, Lo"{i}c and Reimers, Nils},
title = {MTEB: Massive Text Embedding Benchmark},
journal={arXiv preprint arXiv:2210.07316},
year = {2022},
url = {https://arxiv.org/abs/2210.07316},
doi = {10.48550/ARXIV.2210.07316},
}

<!-- viewer-refresh: 20260415 -->