giovanni-gatti-pinheiro/nano-rag-eval

这是一个用于不同检索增强生成方案定性比较的微型手工制作数据集。文本块（即上下文）是从教科书中提取的，问题和正确答案由相应领域的专家编写，错误答案则由Llama2:7b-instruct生成。数据集格式包括原始上下文、上下文、问题、正确答案和错误答案。这是一个用于不同检索增强生成方案定性比较的微型手工制作数据集。文本块（即上下文）是从教科书中提取的，问题和正确答案由相应领域的专家编写，错误答案则由Llama2:7b-instruct生成。数据集格式包括原始上下文、上下文、问题、正确答案和错误答案。

原始信息汇总

数据集概述

数据集用途

本数据集用于定性比较不同的检索增强生成（Retrieval Augmented Generation, RAG）方案。

数据来源

• 文本来源：数据集中的文本片段（上下文）提取自教科书。
• 问题与答案：问题和正确答案（ground truth）由相关领域的专家编写。
• 错误答案：错误答案由Llama2:7b-instruct生成，不使用任何输入上下文。

数据集格式

数据集中的每个条目包含以下字段：

• original_contexts：教科书提取的上下文列表。
• contexts：与original_contexts相同，但随机缺失一些项目。
• question：待评估的输入问题（模拟输入查询）。
• correct_answer：专家编写的答案（ground truth）。
• wrong_answer：Llama2:7b-instruct生成的答案（模拟RAG答案）。