ChaI-TeA
收藏资源简介:
ChaI-TeA数据集由亚马逊研究和以色列理工学院共同创建,旨在评估基于大型语言模型(LLM)的聊天机器人的自动完成功能。该数据集包含来自Open Assistant和ShareGPT的对话数据,总计536,215条前缀数据,涵盖了广泛的自然语言交互场景。数据集通过提取用户与聊天机器人的对话历史,生成前缀与上下文对,用于训练和评估自动完成模型。该数据集的应用领域主要集中在提升用户与聊天机器人交互的效率,减少用户输入的时间和认知负担,特别是在处理长文本和多主题对话时。
The ChaI-TeA dataset was co-developed by Amazon Research and the Technion – Israel Institute of Technology, with the goal of evaluating the autocomplete capabilities of chatbots powered by large language models (LLMs). This dataset includes a total of 536,215 conversational prefix entries sourced from Open Assistant and ShareGPT, covering a broad spectrum of natural language interaction scenarios. It constructs prefix-context pairs by extracting the conversation history between users and chatbots, which is intended for training and evaluating autocomplete models. The core applications of this dataset center on improving the efficiency of user-chatbot interactions, reducing user input time and cognitive load, particularly when managing long-text and multi-topic conversations.
ChaiTea-chat-interaction-autocomplete 数据集概述
数据集简介
ChaiTea-chat-interaction-autocomplete 是一个用于聊天交互自动补全的数据集,支持多种模型的推理和评估。数据集的使用分为两个主要阶段:推理和指标计算。
数据集使用步骤
1. 推理阶段 (run_baselines.py)
-
功能:为数据集中的所有前缀生成补全结果,并保存为
.pkl文件。 -
重要参数:
model_id:指定使用的 Huggingface 模型,支持自定义微调模型。dataset:指定使用的数据集,当前支持的数据集包括oasst和sharegpt。gpu_id:指定使用的 GPU ID,支持多 GPU 并行运行。- 推理参数:
best_of,max_new_tokens,top_n_tokens,temperature,top_p。
-
示例: bash python run_baselines.py --model_id mistralai/Mistral-7B-v0.1 --dataset oasst --gpu_id 0 --best_of 5 --temperature 1.0
2. 指标计算阶段 (metrics.py)
-
功能:计算如
saved@k和acceptance_rate@k等指标,并保存为.csv文件。 -
重要参数:
model_id:指定要计算指标的模型,若为None,则为所有模型计算。dataset:指定推理阶段使用的数据集名称。rank_by:指定用于排序补全结果的置信度度量,默认使用log_likelihood。
-
示例: bash python src/metrics.py --dataset oasst --model_id microsoft/Phi-3-mini-4k-instruct --rank_by log_likelihood
数据集子集
- OASST 验证集子集:提供了一个包含 0.25 比例的 OASST 验证集子集,可通过设置
hp_subset=0.25参数在小规模数据上进行实验。
安全与许可
- 安全:有关安全问题的详细信息,请参阅 CONTRIBUTING。
- 许可:该项目采用 Apache-2.0 许可证。




