miracl/hagrid

--- license: apache-2.0 language: - en pretty_name: HAGRID size_categories: - 1K<n<10K --- # HAGRID: A Human-LLM Collaborative Dataset for Generative Information-seeking with Attribution HAGRID (**H**uman-in-the-loop **A**ttributable **G**enerative **R**etrieval for **I**nformation-seeking **D**ataset) is a dataset for generative information-seeking scenarios. It is constructed on top of MIRACL 🌍🙌🌏, an information retrieval dataset that consists of queries along with a set of manually labelled relevant passages (quotes). ## Dataset Structure To load the dataset: ```python import datasets hagrid = datasets.load_dataset("miracl/hagrid", split="train") print(hagrid[0]) ``` It would show: ```json { 'query': ..., 'query_id': ..., 'quotes': [{ # a list of quotes that are manually labeled as relevant to the query 'docid': ..., 'idx': ..., 'text': ... }, ...] 'answers': [{ 'answer': ..., # the complete answer generated by LLM 'attributable': 1/0/None, # 1: attributable; 0: unattributable; None: unlabeled 'informative': 1/0, # 1: informative; 0: uninformative 'sentences': [{ # answers split into sentences 'index': ..., 'attributable': 0/1/None, 'informative': 0/1/None, 'text': ..., }, ...] }, ...] } ```

原始信息汇总

HAGRID数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语
• 数据集名称: HAGRID
• 数据集大小: 1K<n<10K

数据集描述

HAGRID（Human-in-the-loop Attributable Generative Retrieval for Information-seeking Dataset）是一个用于生成式信息检索场景的数据集。该数据集构建在MIRACL之上，MIRACL是一个包含查询及其一组手动标记的相关段落（引用）的信息检索数据集。

数据集结构

数据集的结构如下：

• 查询（query）
• 查询ID（query_id）
• 引用列表（quotes）：手动标记为与查询相关的引用列表，每个引用包含文档ID（docid）、索引（idx）和文本（text）。
• 答案列表（answers）：由LLM生成的完整答案，每个答案包含：
  • 答案文本（answer）
  • 可归属性（attributable）：1表示可归属，0表示不可归属，None表示未标记
  • 信息性（informative）：1表示信息性，0表示非信息性
  • 句子列表（sentences）：答案分割成的句子，每个句子包含索引（index）、可归属性（attributable）、信息性（informative）和文本（text）。