five

Conversation Genome Project|对话AI数据集|自然语言处理数据集

收藏
github2024-05-23 更新2024-05-31 收录
对话AI
自然语言处理
下载链接:
https://github.com/afterpartyai/bittensor-conversation-genome-project
下载链接
链接失效反馈
资源简介:
对话基因组项目(CGP)是一个开源倡议,旨在通过提供一个全面的索引和标记对话数据集来实现个性化对话AI。该数据集涵盖了来自各种来源(如YouTube、播客等)的数十亿对话,利用分形数据挖掘和对话窗口进行高效且保护隐私的处理。此外,还生成了合成参与者配置文件,并开发了一种算法来评估对话质量(相关性、参与度、新颖性、连贯性和流畅性)。该数据集对训练和微调对话AI模型开放。

The Conversation Genome Project (CGP) is an open-source initiative aimed at realizing personalized conversational AI by providing a comprehensive index and annotated dataset of dialogues. This dataset encompasses billions of conversations from various sources such as YouTube, podcasts, and more, utilizing fractal data mining and conversation windows for efficient and privacy-preserving processing. Additionally, synthetic participant profiles have been generated, and an algorithm has been developed to assess the quality of conversations (relevance, engagement, novelty, coherence, and fluency). The dataset is open for training and fine-tuning conversational AI models.
创建时间:
2024-05-07
原始信息汇总

Conversation Genome Project 数据集概述

数据集描述

Conversation Genome Project (CGP) 是一个开源项目,旨在通过提供一个包含索引和标记的对话的全面数据集,来实现个性化对话AI。该项目利用了Bittensor基础设施来注释与对话相关的数据。

关键特性

  • 对来自不同来源(如YouTube、播客等)的数十亿对话进行索引和标记
  • 利用分形数据挖掘和对话窗口进行高效且保护隐私的处理
  • 从对话元数据生成的合成参与者配置文件
  • 评估对话质量的算法(相关性、参与度、新颖性、连贯性和流畅性)
  • 用于训练和微调对话AI模型的开源数据集
  • 激励数据贡献和完整性的挖矿和验证系统

系统设计

  • 数据存储:主要数据源、对话窗口、参与者配置文件和向量数据库
  • 验证者角色:拉取数据、为基础对话生成概览元数据、创建窗口并评分提交
  • 矿工角色:处理对话窗口、提供元数据和标签
  • 数据流程:从CGP API获取对话,通过LLM处理生成标签和元数据,最终存储在数据库中

安装与计算要求

  • 需要Python 3.8或更高版本
  • 矿工和验证者使用OpenAI API密钥时,需要至少8GB RAM和20GB磁盘空间

配置

  • 需要配置.env文件,包括API密钥和LLM类型选择
  • 支持的LLM类型包括OpenAI、Anthropic和groq

测试运行

  • 通过运行测试验证器套件来检查配置和环境设置
  • 测试包括启动验证器和矿工,处理对话并返回元数据

注册

  • 在测试网或主网上注册UID,用于挖矿或验证

子网角色

  • 挖矿:使用特定命令启动矿工
  • 验证:使用特定命令启动验证器

自定义对话服务器

  • 验证器可以运行自己的数据源,处理自定义或专有对话数据
  • 提供了一个示例实现,需要根据需求修改

使用Runpod

  • 使用Runpod启动和管理云GPU和CPU实例
  • 需要特定的配置设置,包括端口映射和实例选择

进程管理

  • 推荐使用pm2或Screen管理进程
  • pm2的安装和基本使用命令

许可证

  • 该项目使用MIT许可证
AI搜集汇总
数据集介绍
main_image_url
构建方式
Conversation Genome Project 数据集的构建基于一个开放源代码的倡议,旨在为个人或企业提供低成本、资源最小化的数据结构化和语义标记管道。该数据集通过分布式计算和验证系统,利用大型语言模型(LLMs)对原始数据进行处理,生成结构化的AI就绪数据。具体而言,验证者通过标记数据建立基础真理,创建数据窗口供矿工进行分形挖掘,并对矿工的提交进行评分。评分基于矿工窗口标记输出与验证者基础真理标记输出之间的余弦距离计算。
特点
该数据集的主要特点包括:1) 从原始数据到结构化AI就绪数据的转换;2) 分形数据挖掘,允许矿工处理各种数据源并创建符合用户特定需求的标记结构化数据;3) 验证者通过标记数据建立基础真理,创建数据窗口并评分矿工提交;4) 基于余弦距离的评分机制;5) 低成本的结构化数据管道,利用LLMs的准确性和成本优势,以及分布式计算的可扩展性;6) 激励性的挖掘和验证系统,确保数据贡献和完整性。
使用方法
使用该数据集首先需要安装Python 3.8或更高版本,并通过克隆GitHub仓库和安装依赖项来设置环境。用户需要配置.env文件,输入必要的API密钥和配置信息,特别是OpenAI API密钥。随后,用户可以运行单元测试以验证设置是否正确。测试流程包括启动验证者和矿工,验证者获取对话数据并生成基础真理标签,矿工处理数据并通过LLM生成标签和向量嵌入,最后验证者对矿工的输出进行评分并将数据推送到本地存储或ReadyAI API。完成配置后,用户可以注册并启动矿工或验证者,参与数据集的构建和验证过程。
背景与挑战
背景概述
对话基因组项目(Conversation Genome Project)是由ReadyAI发起的一项开源倡议,旨在为个人或企业提供低成本、资源消耗最小的数据结构化和语义标注管道。该项目利用先进的大型语言模型(LLMs),通过分布式计算,将原始数据转化为结构化数据,为向量数据库和AI应用提供支持。ReadyAI的核心创新在于利用LLMs的高精度和低成本优势,替代传统的人工标注,从而实现数据处理的无缝扩展。该项目的推出,标志着在自然语言处理领域,数据结构化和语义标注技术迈向了一个新的高度,为AI应用的广泛普及奠定了坚实基础。
当前挑战
对话基因组项目在构建过程中面临多项挑战。首先,如何确保从多种数据源中提取的数据能够被高效地结构化和语义标注,是一个复杂的技术问题。其次,分布式计算的实施需要解决数据一致性和同步性的难题,以确保数据处理的准确性和效率。此外,激励机制的设计也是一大挑战,如何公平地评估和奖励数据贡献者的努力,同时保持数据的整体质量,是项目成功的关键。最后,随着数据量的增加,如何有效地管理和存储生成的结构化数据,也是一个不容忽视的问题。
常用场景
经典使用场景
在自然语言处理和人工智能领域,Conversation Genome Project数据集的经典使用场景主要集中在对话系统的语义分析和结构化数据生成。该数据集通过提供丰富的对话样本,帮助研究人员和开发者构建和优化对话模型,从而实现更精准的语义理解和信息提取。通过将原始对话数据转化为结构化的语义标签和向量表示,该数据集为对话系统的开发提供了坚实的基础。
解决学术问题
Conversation Genome Project数据集解决了自然语言处理领域中对话数据结构化和语义标注的常见学术问题。传统的对话数据处理依赖于人工标注,成本高且效率低。该数据集通过引入分布式计算和低成本的LLM(大语言模型),显著提升了数据处理的效率和准确性。这不仅降低了研究成本,还为大规模对话数据的处理提供了新的解决方案,推动了对话系统研究的进展。
衍生相关工作
基于Conversation Genome Project数据集,衍生了一系列相关的经典工作。例如,研究者们利用该数据集开发了多种对话生成模型,显著提升了对话系统的自然度和流畅性。同时,该数据集还被用于训练情感分析模型,帮助对话系统更好地理解和回应用户的情感状态。此外,基于该数据集的研究还推动了对话数据隐私保护和安全性的探讨,为对话系统的实际应用提供了更多保障。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Population and Housing Census of 2007 - Ethiopia

Geographic coverage --------------------------- National coverage Analysis unit --------------------------- Household Person Housing unit Universe --------------------------- The census has counted people on dejure and defacto basis. The dejure population comprises all the persons who belong to a given area at a given time by virtue of usual residence, while under defacto approach people were counted as the residents of the place where they found. In the census, a person is said to be a usual resident of a household (and hence an area) if he/she has been residing in the household continuously for at least six months before the census day or intends to reside in the household for six months or longer. Thus, visitors are not included with the usual (dejure) population. Homeless persons were enumerated in the place where they spent the night on the enumeration day. The 2007 census counted foreign nationals who were residing in the city administration. On the other hand all Ethiopians living abroad were not counted. Kind of data --------------------------- Census/enumeration data [cen] Mode of data collection --------------------------- Face-to-face [f2f] Research instrument --------------------------- Two type sof questionnaires were used to collect census data: i) Short questionnaire ii) Long questionnaire Unlike the previous censuses, the contents of the short and long questionnaires were similar both for the urban and rural areas as well as for the entire city. But the short and the long questionnaires differ by the number of variables they contained. That is, the short questionnaire was used to collect basic data on population characteristics, such as population size, sex, age, language, ethnic group, religion, orphanhood and disability. Whereas the long questionnaire includes information on marital status, education, economic activity, migration, fertility, mortality, as well as housing stocks and conditions in addition to those questions contained in a short questionnaire.

catalog.ihsn.org 收录

UniMed

UniMed是一个大规模、开源的多模态医学数据集,包含超过530万张图像-文本对,涵盖六种不同的医学成像模态:X射线、CT、MRI、超声、病理学和眼底。该数据集通过利用大型语言模型(LLMs)将特定模态的分类数据集转换为图像-文本格式,并结合现有的医学领域的图像-文本数据,以促进可扩展的视觉语言模型(VLM)预训练。

github 收录

poi

本项目收集国内POI兴趣点,当前版本数据来自于openstreetmap。

github 收录

Analog Circuit Fault Diagnosis Dataset

The simulation experiment is based on Candence 16.6 software, where the tolerance of the resistance (R) is set to 5%, the tolerance of the capacitance (C) is set to 10%, the input is a single-pulse signal (amplitude 5 V, pulse width 10 µs, eriod 2ms), and the working temperature is set to 27 ℃. The operational amplifier(op-amp) uses the actual UA741 pspice model. The experiment includes the soft fault diagnosis of Sallen-Key band-pass filter circuit (TC1), Four-op-amp biquad high-pass filter circuit (TC2), and Leap-frog low-pass filter circuit (TC3). The dataset is a CSV file, with each row representing a feature vector, the last column being the data label, and the remaining columns being the feature vectors.

Mendeley Data 收录

AIS数据集

该研究使用了多个公开的AIS数据集,这些数据集经过过滤、清理和统计分析。数据集涵盖了多种类型的船舶,并提供了关于船舶位置、速度和航向的关键信息。数据集包括来自19,185艘船舶的AIS消息,总计约6.4亿条记录。

github 收录