ambrosfitz/mighty-history-merge

该数据集包含两种类型的问题。第一种是通过ChatGPT 3.5 Turbo生成的关于美国历史的合成问题和答案，这些问题是基于随机选择的1607-2020年间的日期生成的，共重复了3000次。第二种是基于美国Yawp和Openstax美国历史的2048字符分块文本，这些文本被逐块输入到ChatGPT 3.5 Turbo中，生成上下文、问题和答案。

原始信息汇总

数据集概述

数据集类型

• 合成生成的问题和答案，来自ChatGPT 3.5 Turbo，关于美国历史。
• 精心挑选的2048字符块，来自《美国Yawp》和《Openstax美国历史》，通过ChatGPT 3.5 Turbo生成上下文、问题和答案。

数据生成方法

1. 合成历史问题生成：

   • 使用Python脚本随机选择1607-2020年间的日期，生成历史问题。
   • 重复3000次。

2. 文本块处理：

   • 将书籍或文本文件分割成块，每个块大小为8192字符。
   • 使用ChatGPT 3.5 Turbo生成每个块的历史上下文、问题和答案。

数据格式

• 数据以CSV文件格式存储，包含问题和答案。

数据处理步骤

1. 生成合成数据：

   • 使用OpenAI API生成历史问题和答案。
   • 将生成的数据存储在CSV文件中。

2. 文本块分割：

   • 将文本分割成指定大小的块。
   • 保存分割后的块。

3. 生成问题和答案：

   • 对每个块生成历史上下文、问题和答案。
   • 将结果保存为CSV文件。

注意事项

• 数据生成过程中可能存在单元格对齐问题，需检查数据完整性。
• 处理过程中删除已处理的块文件，以便下次处理时确定起始点。

搜集汇总

数据集介绍

构建方式

该数据集融合了两种互补的构建策略。其一，通过自动化脚本从1607年至2020年间随机抽取日期，并调用ChatGPT 3.5 Turbo生成对应的历史问题与答案，循环3000次以形成合成样本。其二，将《美国雅普》和《开放大学美国历史》两部权威教材分割为2048字符的文本块，逐块输入ChatGPT 3.5 Turbo，依次生成上下文、基于上下文的问题及其答案，从而得到经过人工精选语料增强的真实性数据。

特点

数据集兼具合成数据的广泛覆盖性与教材语料的深度准确性。合成部分通过日期随机化确保了时间维度的全面性，而教材分块处理则保留了原始文本的历史语境与逻辑连贯性。此外，生成过程中特别优化了回答格式，避免列表式输出，强制要求完整句子作答，从而提升了答案的自然度与可读性。两套数据源的结合使得数据集在多样性与专业性之间取得了良好平衡。

使用方法

数据集以CSV格式存储，包含指令（instruction）、输入（input）和输出（output）三列，可直接用于训练或微调对话式历史问答模型。使用时需注意合成数据与教材数据之间的潜在格式对齐问题，建议对生成的CSV文件进行人工校验以修正可能的单元格错位。对于需要更大上下文窗口的模型，可参考代码中的分块策略调整文本块大小，以适应不同的token限制。

背景与挑战

背景概述

该数据集名为mighty-history-merge，由研究者ambrosfitz于近期创建，旨在通过大规模生成式预训练模型（如ChatGPT 3.5 Turbo）自动合成美国历史问答对，以应对历史教育领域高质量标注数据稀缺的问题。数据集融合了两种来源：一是基于1607年至2020年间随机日期自动生成的3000条合成问答，二是从《美国叙事》（American Yawp）与OpenStax美国历史教材中提取的2048字符文本块，经模型逐块生成上下文、问题与答案。这一创新性构建方法不仅拓展了自然语言处理在历史学科中的应用边界，也为后续基于大语言模型的历史知识推理与问答系统研究提供了基础资源，推动了自动化数据集生成技术的进步。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，历史问答涉及复杂的时间因果与事件关联，模型生成的答案可能出现事实性错误或过度简化，影响数据集的可靠性与教育适用性。其次，构建过程存在显著技术难点：文本分块策略需平衡上下文完整性与模型窗口限制，而使用ChatGPT 3.5 Turbo 1106时，模型倾向于将答案组织为列表形式，虽经指令修正仍可能产生格式偏差。此外，分块生成过程中的单元格错位问题（如问题与答案不匹配）需人工核查，增加了数据清洗成本。最后，合成数据的多样性与覆盖度受限于随机采样策略，可能遗漏关键历史事件或时期，导致数据集代表性不足。

常用场景

经典使用场景

该数据集专为美国历史领域的问答系统构建而设计，其核心应用在于训练和评估大型语言模型对历史事件的时序理解与知识检索能力。通过融合合成生成的问答对与基于权威教材《American Yawp》及Openstax美国史文本切片的精标注数据，研究者可利用此数据集开展从1607年至2020年跨度内的历史事实性问答任务，尤其适用于验证模型在长文本语境下捕捉因果关系与关键事件的能力。

实际应用

在实际场景中，该数据集可赋能智能教育平台，用于开发针对美国历史课程的自动问答系统，辅助学生进行自主学习和知识巩固。此外，它还能支撑历史类聊天机器人的构建，使其能够精准回答用户关于特定年份或事件的查询。在新闻与出版领域，该数据集亦可用于自动化生成历史背景摘要或事实核查工具，提升内容生产与验证的效率。

衍生相关工作

该数据集衍生了一系列围绕历史知识增强的模型微调工作，例如基于GPT-3.5 Turbo的指令微调框架被用于优化长文本理解与上下文生成。相关研究还探索了分块策略与提示工程对问答一致性的影响，催生了针对历史领域幻觉抑制的专项方法。此外，该数据集的构建流程已启发后续工作将类似技术迁移至其他学科，如世界史与科学史的数据集自动化生成。