RCAEval

RCAEval数据集由皇家墨尔本理工大学和新南威尔士大学等机构创建，旨在支持微服务系统中的根因分析（RCA）。该数据集包含735个故障案例，来自三个微服务系统，涵盖11种故障类型，包括资源、网络和代码级故障。数据集通过多源遥测数据（如指标、日志和跟踪）进行收集，支持多种RCA方法的开发与评估。数据集的创建过程包括在Kubernetes集群中部署微服务系统，并通过Prometheus、Datadog Vector等工具收集数据。RCAEval数据集主要应用于微服务系统的故障诊断和根因分析，旨在提高系统的可靠性和可用性。The RCAEval dataset was developed by institutions including RMIT University, the University of New South Wales, and other relevant institutions to support root cause analysis (RCA) in microservice systems. It contains 735 fault cases from three microservice systems, covering 11 fault types such as resource, network, and code-level faults. The dataset is collected via multi-source telemetry data including metrics, logs, and traces, which facilitates the development and evaluation of various RCA approaches. The dataset construction workflow involves deploying microservice systems on Kubernetes clusters and collecting data using tools like Prometheus, Datadog Vector, and other similar tools. The RCAEval dataset is primarily utilized for fault diagnosis and root cause analysis of microservice systems, with the objective of enhancing system reliability and availability.

搜集汇总

数据集介绍

构建方式

RCAEval数据集的构建基于三个微服务系统，涵盖了735个故障案例，涉及11种常见的故障类型。数据集通过多源遥测数据（包括指标、日志和追踪）进行收集，确保了数据的全面性和多样性。具体而言，数据集分为三个子集：RE1、RE2和RE3。RE1主要包含指标数据，支持基于指标的根因分析方法；RE2和RE3则进一步引入了日志和追踪数据，支持多源根因分析方法，特别是RE3还包含了代码级故障的诊断。数据收集过程通过在Kubernetes集群中部署微服务系统，并使用Prometheus、Datadog Vector和Jaeger等工具进行遥测数据的采集，确保了数据的准确性和完整性。

特点

RCAEval数据集的主要特点在于其全面性和多样性。首先，数据集涵盖了从资源故障到网络故障再到代码级故障的多种故障类型，能够模拟真实世界中的复杂故障场景。其次，数据集不仅包含传统的指标数据，还引入了日志和追踪数据，支持多种根因分析方法，包括基于指标、基于追踪以及多源融合的分析方法。此外，数据集的规模较大，涵盖了735个故障案例，能够为研究人员和实践者提供丰富的实验数据。最后，数据集的开放性和可扩展性也为未来的研究提供了便利。

使用方法

RCAEval数据集的使用方法灵活多样，适用于不同的根因分析任务。首先，研究人员可以通过数据集进行模型的训练和验证，评估不同根因分析方法的性能。数据集提供了详细的故障标注，包括根因服务和根因指标，便于进行精确的评估。其次，数据集附带了一个开源的评估框架，包含15种基线方法，支持粗粒度和细粒度的根因分析评估。研究人员可以通过该框架快速进行实验，并根据需要扩展新的方法。最后，数据集的开放性使得研究人员可以自由下载和使用，进一步推动根因分析领域的研究进展。

背景与挑战

背景概述

随着微服务系统在现代软件架构中的广泛应用，根因分析（Root Cause Analysis, RCA）在确保系统可靠性和可用性方面的重要性日益凸显。RCAEval数据集由RMIT大学、重庆大学和UNSW的研究团队于2024年推出，旨在为微服务系统的根因分析提供一个全面的基准。该数据集包含了从三个微服务系统中收集的735个故障案例，涵盖了11种常见的故障类型，并提供了多源遥测数据（如指标、日志和追踪）。RCAEval不仅为研究人员提供了丰富的数据资源，还通过开放源代码的评估框架，支持多种根因分析方法的评估，从而推动了该领域的研究进展。

当前挑战

RCAEval数据集的构建面临多重挑战。首先，微服务系统的复杂性和多样性使得故障类型的覆盖范围成为一个重要挑战，尤其是在涵盖代码级故障方面。其次，多源遥测数据的收集和处理，尤其是日志和追踪数据的规模庞大，增加了数据预处理的难度。此外，现有的根因分析方法在处理多源数据时表现不一，如何设计一个能够有效整合多源信息的根因分析方法仍是一个开放性问题。最后，评估框架的通用性和可扩展性也是该数据集面临的一个重要挑战，确保其能够适应未来新方法的引入和不同场景的应用。

常用场景

经典使用场景

RCAEval数据集的经典使用场景主要集中在微服务系统的根因分析（RCA）领域。该数据集提供了从三个微服务系统中收集的735个故障案例，涵盖了11种常见的故障类型，包括资源故障、网络故障和代码级故障。通过这些数据，研究人员和实践者可以开发和验证基于指标、日志和追踪的多源根因分析方法。RCAEval不仅支持粗粒度的根因服务识别，还支持细粒度的根因指标定位，为微服务系统的故障诊断提供了全面的评估环境。

解决学术问题

RCAEval数据集解决了微服务系统根因分析领域中缺乏大规模标准基准的问题。以往的研究通常仅在1-2个系统上进行评估，且仅涉及2-3种故障类型，导致评估结果不一致且难以复现。RCAEval通过提供多样化的故障类型和多源遥测数据，为研究人员提供了一个统一的评估框架，推动了根因分析方法的系统性研究和比较。这不仅有助于提升现有方法的性能，还为开发新的、更鲁棒的根因分析解决方案奠定了基础。

衍生相关工作

RCAEval数据集的发布催生了一系列相关的经典工作。首先，基于该数据集，研究人员开发了多种根因分析方法，如基于因果推理的CausalRCA、基于追踪的TraceRCA以及多源融合的PDiagnose等。这些方法在RCAEval的评估框架下进行了系统的比较和验证。此外，RCAEval还启发了对微服务系统中代码级故障的深入研究，推动了多源数据融合技术的进步。未来，RCAEval有望成为微服务系统根因分析领域的标准基准，进一步推动该领域的研究和发展。