Harvard-DCML/tis-dolci-subset-datasets-gtr-t5-base

--- dataset_info: - config_name: embed_rr_bbh_10000 features: - name: id dtype: string - name: messages list: - name: content dtype: string - name: function_calls dtype: 'null' - name: functions dtype: 'null' - name: role dtype: string - name: source_dataset dtype: string - name: domain dtype: string splits: - name: train num_bytes: 20269026 num_examples: 10000 download_size: 19688503 dataset_size: 20269026 - config_name: embed_rr_codex_10000 features: - name: id dtype: string - name: messages list: - name: content dtype: string - name: function_calls dtype: 'null' - name: functions dtype: 'null' - name: role dtype: string - name: source_dataset dtype: string - name: domain dtype: string splits: - name: train num_bytes: 16279878 num_examples: 10000 download_size: 15509218 dataset_size: 16279878 - config_name: embed_rr_gsm8k_10000 features: - name: id dtype: string - name: messages list: - name: content dtype: string - name: function_calls dtype: 'null' - name: functions dtype: 'null' - name: role dtype: string - name: source_dataset dtype: string - name: domain dtype: string splits: - name: train num_bytes: 13415769 num_examples: 10000 download_size: 12790890 dataset_size: 13415769 - config_name: embed_rr_mmlu_pro_10000 features: - name: id dtype: string - name: messages list: - name: content dtype: string - name: function_calls dtype: 'null' - name: functions dtype: 'null' - name: role dtype: string - name: source_dataset dtype: string - name: domain dtype: string splits: - name: train num_bytes: 29575262 num_examples: 10000 download_size: 28928812 dataset_size: 29575262 - config_name: embed_rr_tydiqa_10000 features: - name: id dtype: string - name: messages list: - name: content dtype: string - name: function_calls dtype: 'null' - name: functions dtype: 'null' - name: role dtype: string - name: source_dataset dtype: string - name: domain dtype: string splits: - name: train num_bytes: 19187547 num_examples: 10000 download_size: 18762284 dataset_size: 19187547 configs: - config_name: embed_rr_bbh_10000 data_files: - split: train path: embed_rr_bbh_10000/train-* - config_name: embed_rr_codex_10000 data_files: - split: train path: embed_rr_codex_10000/train-* - config_name: embed_rr_gsm8k_10000 data_files: - split: train path: embed_rr_gsm8k_10000/train-* - config_name: embed_rr_mmlu_pro_10000 data_files: - split: train path: embed_rr_mmlu_pro_10000/train-* - config_name: embed_rr_tydiqa_10000 data_files: - split: train path: embed_rr_tydiqa_10000/train-* ---This dataset is a collection for embedding or retrieval reranking tasks, consisting of multiple sub-datasets each built from different source datasets. It includes embed_rr_bbh_10000, embed_rr_codex_10000, embed_rr_gsm8k_10000, embed_rr_mmlu_pro_10000, and embed_rr_tydiqa_10000, with each sub-dataset containing 10,000 training examples. The features include id, messages (a list of messages with content, role, etc.), source_dataset, and domain. These datasets are likely used for training or evaluating natural language processing models, particularly in multi-turn dialogue or question-answering tasks.

搜集汇总

数据集介绍

构建方式

该数据集系基于多源异构语料库的再加工产物，其构建流程汲取了神经信息检索与表征学习领域的前沿实践。具体而言，研究者从BBH、Codex、GSM8K、MMLU Pro及TyDiQA五个基准数据集中分别采样，每一子集均严格抽取一万条样本，并统一封装为包含消息列表的对话结构。所有样本经标准化处理后，以GTR-T5-Base模型为编码骨干，生成稠密向量表示，从而形成适用于检索增强任务的嵌入资源。这一构建策略在保留原始语义分布的同时，实现了跨领域知识的整合与对齐。

特点

数据集呈现出鲜明的多域覆盖与结构规整双重属性。其涵盖逻辑推理、代码生成、数学问题求解、专业学科知识及多语言问答等多元任务场景，每一子集均提供id、消息内容、源数据集名称及领域标签等元信息。消息字段以角色与内容配对的形式组织，便于直接适配对话式建模。各配置间样本数量均衡，规模统一为万条量级，且存储格式采用分片训练文件，兼顾了加载效率与内存友好性，为跨领域泛化研究提供了可控且可复用的实验基底。

使用方法

使用者可借由Hugging Face datasets库便捷加载指定配置，例如通过load_dataset函数指定embed_rr_bbh_10000等子集名称以获取对应训练分片。获取数据后，既可直接提取messages字段中的文本内容用于语义嵌入或检索模型的微调，亦可依据source_dataset与domain字段进行分层分析与领域自适应实验。典型应用包括检索器训练、跨域迁移评估以及嵌入空间的可视化探究。需注意，每个配置仅含训练划分，故应结合独立验证集以完成模型选择与性能监控。

背景与挑战

背景概述

随着大规模语言模型在多元任务中的广泛应用，面向检索增强与指令跟随的文本嵌入质量成为制约系统性能的关键因素。tis-dolci-subset-datasets-gtr-t5-base数据集应运而生，其汇聚BBH、Codex、GSM8K、MMLU-Pro及TyDiQA五类高难度评测源，各配置均采样一万条训练实例，并以gtr-t5-base作为嵌入骨干进行统一编码。该数据集旨在探究嵌入模型在推理、代码、数学、专业知识及多语言问答等异质领域中的表示泛化能力，为检索式上下文学习与下游任务适配提供标准化评测基准。

当前挑战

该数据集所涉领域问题在于，经gtr-t5-base编码的嵌入能否在语义迥异的任务间维持判别力与迁移性，从而支撑检索增强生成系统的稳定表现。其构建过程亦面临多重挑战：异质数据源的格式归一化与消息结构对齐需兼顾对话角色、内容及函数调用字段的完整性；万条采样在保持领域代表性的同时须抑制分布偏置；统一编码器对代码、数学符号及多语言文本的表示能力存在固有差异，可能削弱跨领域检索的一致性。上述因素共同构成该数据集在评测嵌入泛化性时的核心难题。

常用场景

经典使用场景

在自然语言处理领域，指令微调与多任务学习的融合日益成为提升模型泛化能力的关键路径。该数据集汇聚了五个经典基准——BBH、Codex、GSM8K、MMLU-Pro与TyDiQA，每个配置均包含一万条训练样本，并以对话消息格式统一组织，涵盖推理、代码生成、数学解题、专业知识问答及跨语言阅读理解等多元任务。其最经典的使用场景在于为T5-base等序列到序列模型提供大规模、结构化的指令微调语料，从而训练模型在多领域任务上实现统一的生成式响应。

衍生相关工作

围绕该数据集，已衍生出一系列关于指令微调与多任务提示学习的研究工作。部分工作以此为基础探索不同提示模板对T5模型零样本与少样本性能的影响，另一些则利用其多领域配置分析任务间的梯度冲突与表示相似性。此外，该数据集还被用于评估参数高效微调方法在异构任务上的有效性，并催生了针对对话式生成模型的鲁棒性基准测试，进一步丰富了指令学习生态。

数据集最近研究

最新研究方向

在大语言模型对齐与评估研究持续深化的背景下，tis-dolci-subset-datasets-gtr-t5-base数据集凭借其涵盖BBH、Codex、GSM8K、MMLU-Pro及TyDiQA五个核心子集的统一消息结构，为检索增强生成与嵌入表示学习提供了多领域、多任务的标准化基准。近期研究聚焦于利用该数据集探索跨域检索器与生成器的协同优化机制，尤其是在复杂推理与多语言问答场景中，通过gtr-t5-base嵌入模型评估检索质量对下游任务性能的增益。该数据集所集成的百万级样本与领域标签，正推动着可解释性检索、领域自适应微调以及检索-生成联合训练等前沿方向的实证研究，对构建高效、鲁棒的知识密集型语言系统具有重要的支撑意义与基准价值。