遇见数据集

H-D-T/Buzz-slice-7-10-V1.2

收藏
Hugging Face2024-09-02 更新2024-06-29 收录
官方服务:

资源简介:

Buzz数据集是一个经过高度筛选的预训练规模助手数据集,结合了强化学习(RL)和监督微调(SFT)技术。数据集包含了435个高质量的指令跟随和对话数据集,去重后格式化为兼容不同训练类型和当前本地生态系统。数据集还包含了超过500万行新数据以及数百万行重新增强的数据,总计约8500万轮对话。数据集的迭代微调方法基于多篇关键论文的研究成果,旨在通过高质量数据和精心选择的“基础”分布来推动模型重用和优化的边界。数据集的结构和格式与Axolotl和lmsys的FastChat兼容,包含对话的源数据集、RL技术的选择/拒绝、问题索引(仅DPO特定数据集)以及对话内容。

Buzz数据集是一个经过高度筛选的预训练规模助手数据集,结合了强化学习(RL)和监督微调(SFT)技术。数据集包含了435个高质量的指令跟随和对话数据集,去重后格式化为兼容不同训练类型和当前本地生态系统。数据集还包含了超过500万行新数据以及数百万行重新增强的数据,总计约8500万轮对话。数据集的迭代微调方法基于多篇关键论文的研究成果,旨在通过高质量数据和精心选择的“基础”分布来推动模型重用和优化的边界。数据集的结构和格式与Axolotl和lmsys的FastChat兼容,包含对话的源数据集、RL技术的选择/拒绝、问题索引(仅DPO特定数据集)以及对话内容。

提供机构:
H-D-T
二维码
社区交流群
二维码
科研交流群
商业服务