hkust-nlp/felm

FELM数据集是一个用于评估大型语言模型事实性的元基准。该数据集包含847个问题，涵盖五个不同的领域：世界知识、科学/技术、写作/推荐、推理和数学。数据集的提示来自多种来源，包括标准数据集如truthfulQA、在线平台如Github仓库、ChatGPT生成或作者起草。对于每个提示，数据集提供了ChatGPT的响应，并对响应进行了细粒度的注释，包括参考链接、识别的错误类型以及错误原因。数据集的结构包括数据实例和数据字段的详细描述，数据实例展示了数据的格式，数据字段则解释了每个字段的含义。数据集的创建过程包括数据收集、清理和注释，注释过程由作者完成，并经过双重检查。数据集使用Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License许可。

The FELM dataset is a meta-benchmark designed to evaluate the factuality of large language models. It comprises 847 questions spanning five distinct domains: world knowledge, science/technology, writing/recommendation, reasoning, and mathematics. The prompts within the dataset are sourced from multiple categories, including standard datasets such as truthfulQA, online platforms like GitHub repositories, content generated by ChatGPT, and drafts prepared by the authors. For each prompt, the dataset provides ChatGPT's corresponding responses, accompanied by fine-grained annotations including reference links, identified error types, and root causes of errors. The dataset's structure includes detailed descriptions of both data instances and data fields: data instances demonstrate the format of the dataset, while data fields explain the specific meaning of each field. The creation process of the dataset involves data collection, cleaning, and annotation. The annotation work was completed by the authors and underwent double checks. The dataset is released under the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

原始信息汇总

数据集概述：FELM

数据集描述

数据集总结

• 名称：FELM
• 目的：作为元基准，用于评估大型语言模型的真实性。
• 内容：包含847个问题，涵盖五个领域：世界知识、科学/技术、写作/推荐、推理和数学。
• 数据来源：包括标准数据集如truthfulQA、在线平台如GitHub仓库、ChatGPT生成或由作者草拟。
• 处理：通过ChatGPT获取响应，并对每个响应进行细粒度注释，包括参考链接、识别的错误类型及错误原因。

支持的任务和排行榜

• 信息缺失

语言

• 语言：英语

数据集结构

数据实例

• 示例结构： python {"index": "0", "source": "quora", "prompt": "Which country or city has the maximum number of nuclear power plants?", "response": "...", "segmented_response": ["...", "..."], "labels": [false, true], "comment": ["...", ""], "type": ["knowledge_error", null], "ref": ["https://www.eia.gov/tools/faqs/faq.php?id=207&t=3"]}

数据字段

• 字段列表：

  字段名	类型	描述
  index	Integer	数据点顺序号
  source	String	提示来源
  prompt	String	生成响应的提示
  response	String	ChatGPT的响应
  segmented_response	List	响应的片段
  labels	List	片段的真实性标签
  comment	List	事实错误的解释
  type	List	事实错误的类型
  ref	List	参考链接

数据集创建

源数据

• 收集与清洗：数据来自多种来源，包括truthfulQA等标准数据集和GitHub等在线平台，由作者进行清洗。

注释

• 注释过程：使用自开发的注释工具和注释指南，所有注释经过双重检查，包括其他注释者和专家的审查。
• 注释者：论文作者，包括Yuzhen Huang, Yikai Zhang, Tangjun Su。

附加信息

许可信息

• 许可：Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License

引用信息

• 引用格式： bibtex @inproceedings{ chen2023felm, title={FELM: Benchmarking Factuality Evaluation of Large Language Models}, author={Chen, Shiqi and Zhao, Yiran and Zhang, Jinghan and Chern, I-Chun and Gao, Siyang and Liu, Pengfei and He, Junxian}, booktitle={Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track}, year={2023}, url={http://arxiv.org/abs/2310.00741} }

搜集汇总

背景与挑战

背景概述

FELM数据集是一个用于评估大型语言模型事实性的元基准，包含847个问题，覆盖世界知识、科学/技术、写作/推荐、推理和数学五个领域。数据集的提示来自多种来源，每个提示都提供了ChatGPT的响应，并进行了细粒度注释，包括参考链接、错误类型和原因。数据集使用Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License许可。