DAHL|生物医学数据集|模型评估数据集

DAHL是由首尔国立大学精心策划的生物医学领域长篇文本生成幻觉评估基准数据集。该数据集包含8,573个问题，涵盖29个类别，来源于PubMed Central的生物医学研究论文。数据集的创建过程包括自动生成问题和人工筛选，确保问题的高质量和独立可答性。DAHL旨在评估大型语言模型在生物医学领域的幻觉问题，通过将模型响应分解为原子单位来计算事实准确性，从而提供比传统多选任务更深入的评估。该数据集的应用领域主要集中在生物医学和临床应用，旨在解决模型生成文本中的事实冲突问题。

原始信息汇总

DAHL 数据集概述

数据集构建

• 来源：基于从PMC爬取的研究论文生成可能的考试问题。
• 生成方式：使用gpt-4-1106-preview生成问题，并手动筛选出高质量问题。

评估流程

• 自动化评估流程：包括两个阶段：
  1. 将响应分割成原子单位。
  2. 检查每个原子单位的事实性。

安装与使用

• 安装： bash git clone https://github.com/seemdog/DAHL.git cd DAHL

• 响应生成：

  • Huggingface模型： bash python generate_response_hf.py --model meta-llama/Meta-Llama-3-8B-Instruct --temperature 0.6 --max_new_tokens 256

  • OpenAI模型： bash python generate_response_gpt.py --model gpt-4o --api_key YOUR_API_KEY --temperature 0.6

• 评估： bash cd evaluate sh run.sh model_to_evaluate openAI_API_key perplexityAI_API_key model_to_use_perplexityAI

结果保存

• 最终DAHL评分：将保存在一个.txt文件中。

引用

• 引用信息：待定（TBD）。