有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
FineTuneBench|大型语言模型数据集|微调评估数据集
收藏arXiv2024-11-11 更新2024-11-18 收录
下载链接：
https://github.com/kevinwu23/StanfordFineTuneBench
下载链接
链接失效反馈资源简介：
FineTuneBench数据集由斯坦福大学创建，旨在评估商业化大型语言模型（LLMs）微调APIs在新知识注入和现有知识更新方面的效能。该数据集包含625个训练问题和1075个测试问题，覆盖新闻、虚构人物、医疗指南和代码更新四大领域。通过对比分析OpenAI和Google的五个前沿LLMs，包括GPT-4o和Gemini 1.5 Pro等，FineTuneBench揭示了微调服务在知识注入方面的显著不足。该数据集的创建过程基于最新新闻文章、虚构人物信息、医疗指南更新和代码框架变更，通过精心设计的问答对来测试模型的泛化能力。FineTuneBench的应用领域广泛，尤其适用于评估和改进LLMs在特定领域的知识更新和应用能力。
提供机构：
斯坦福大学
创建时间：
2024-11-11
AI搜集汇总
数据集介绍
构建方式
FineTuneBench数据集的构建基于对前沿大型语言模型（LLMs）在商业微调API下的知识注入能力的评估需求。该数据集包含四个领域的知识注入任务：最新新闻、虚构人物、医疗指南和代码更新。每个领域均包含训练问题和测试问题，旨在测试模型在摄取新信息和更新现有知识方面的有效性。数据集的生成过程包括从可靠来源收集最新信息，使用GPT-4o生成问题-答案对，并通过质量检查确保生成的内容符合标准。此外，数据集还包括对问题的重新表述和日期更改，以测试模型的泛化能力。
特点
FineTuneBench数据集的特点在于其多领域覆盖和严格的生成流程。数据集不仅涵盖了新闻、虚构人物、医疗和代码四个领域，还通过重新表述和日期更改等方式，增加了问题的复杂性和多样性，从而更全面地评估模型的知识注入能力。此外，数据集的生成过程严格遵循科学方法，确保每个问题和答案对的质量和可靠性。
使用方法
FineTuneBench数据集适用于评估和比较不同商业微调API在知识注入任务中的表现。用户可以通过该数据集对模型进行微调，并测试其在原始问题、重新表述问题和日期更改问题上的表现，以评估模型的记忆和泛化能力。数据集还提供了详细的训练和评估指南，帮助用户在不同领域和任务中进行系统的模型评估和优化。
背景与挑战
背景概述
随着大型语言模型（LLMs）在软件开发和医学等多样化领域的应用日益增多，确保这些模型包含最新和相关的知识变得至关重要。例如，软件开发者需要模型理解最新版本的代码，而医疗专业人员则需要可信赖的模型遵循当前的临床指南。此外，企业希望将这些模型适应内部使用，需要引入全新的知识，如员工信息或最新新闻。然而，目前大多数前沿模型是闭源的，用户无法直接应用模型微调技术。最近，一些公司通过商业API提供了对专有模型的监督微调，如OpenAI的微调UI和Google Vertex AI。这些服务为用户提供了一种适应闭源且计算成本高昂的前沿模型的途径。然而，这些微调服务是否能够实现知识注入，即学习新知识和更新知识的能力，尚不清楚。
当前挑战
FineTuneBench数据集旨在评估商业微调API在注入新知识和更新现有知识方面的有效性。主要挑战包括：1) 商业API提供的微调方法细节不明确，如Google Vertex AI允许用户指定‘适配器大小’，而OpenAI未提供任何细节；2) 缺乏统一的基准来评估这些方法并进行比较；3) 用户在超参数优化方面受到限制，默认值的建议可能不足以使模型适应新知识和更新知识。此外，模型在记忆原始问题后，在回答重新表述的问题或日期改变的问题时表现不佳，表明存在过度拟合问题。总体而言，当前商业微调服务在实现可靠知识注入方面存在显著不足。
常用场景
经典使用场景
FineTuneBench数据集的经典使用场景主要集中在评估商业微调API在向大型语言模型（LLMs）注入新知识和更新现有知识方面的有效性。通过分析包括GPT-4o和Gemini 1.5 Pro在内的五个前沿LLMs，该数据集在两个关键设置中测试了这些模型的能力：一是吸收新信息，如最近的新闻事件和新的人物简介；二是更新现有知识，如更新的医疗指南和代码框架。
解决学术问题
FineTuneBench数据集解决了当前学术界在理解商业微调API如何有效注入新知识和更新现有知识方面的关键问题。通过提供一个系统化的评估框架和数据集，该研究揭示了现有模型在通过微调学习新信息方面的显著不足，平均泛化准确率仅为37%。在更新现有知识方面，如整合医疗指南更新，商业微调API的能力更为有限，平均泛化准确率仅为19%。这些发现强调了当前商业微调服务在实现可靠知识注入方面的主要缺陷。
衍生相关工作
FineTuneBench数据集的引入激发了一系列相关研究工作，特别是在知识注入和模型微调领域。例如，一些研究探索了通过多适配器模型将知识注入BERT的方法，以及比较了继续预训练与检索增强生成（RAG）在模型如Llama-2-7B和Mistral-7B中的有效性。此外，Chen等人的研究探讨了在浅层选择性微调Llama-2-7B以实现知识注入。这些工作都是在FineTuneBench数据集的基础上进行的，进一步推动了LLMs在知识注入和更新方面的研究。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
UAVDT Dataset
The authors constructed a new UAVDT Dataset focused on complex scenarios with new level challenges. Selected from 10 hours raw videos, about 80, 000 representative frames are fully annotated with bounding boxes as well as up to 14 kinds of attributes (e.g., weather condition, flying altitude, camera view, vehicle category, and occlusion) for three fundamental computer vision tasks: object detection, single object tracking, and multiple object tracking.
datasetninja.com 收录
SMSSpamCollection
该数据集包含数千条标记为spam或ham（非垃圾邮件）的短信。它反映了日常通信的典型情况，并包含常见的垃圾邮件词汇，为评估文本分类模型提供了现实基础。
github 收录
MIMII数据集
MIMII数据集是由日立有限公司研究与开发集团创建的，专注于工业机器异常声音检测的数据集。该数据集包含26,092个正常操作条件下的声音文件，涵盖阀门、泵、风扇和滑轨四种机器类型。数据集的创建过程中，使用了TAMAGO-03麦克风阵列进行声音采集，并在多个真实工厂环境中混合背景噪声以模拟实际环境。MIMII数据集主要用于机器学习和信号处理社区开发自动化设施维护系统，特别是在无监督学习场景下检测机器异常声音。
arXiv 收录
中国近海台风路径集合数据集(1945-2024)
1945-2024年度，中国近海台风路径数据集，包含每个台风的真实路径信息、台风强度、气压、中心风速、移动速度、移动方向。时间为北京时间。
国家海洋科学数据中心 收录
PASCAL VOC 2007
这个挑战的目标是从现实场景中的许多视觉对象类别中识别对象（即不是预先分割的对象）。它基本上是一个监督学习问题，因为它提供了一组标记图像的训练集。已选择的 20 个对象类别是： 人：人 动物：鸟、猫、牛、狗、马、羊 交通工具：飞机、自行车、船、公共汽车、汽车、摩托车、火车 室内：瓶子、椅子、餐桌、盆栽、沙发、电视/显示器 将有两个主要比赛和两个较小规模的“品酒师”比赛。内容：提供的训练数据由一组图像组成；每个图像都有一个注释文件，为图像中存在的 20 个类别之一中的每个对象提供一个边界框和对象类别标签。请注意，来自多个类的多个对象可能出现在同一图像中。
OpenDataLab 收录