GLBench

GLBench是由香港科技大学（广州）和清华大学等机构创建的综合性图数据集，专注于文本属性图的节点分类任务。该数据集包含7个不同领域和规模的文本属性图，覆盖了从数千到数十万节点的范围。数据集的创建过程采用了统一的数据预处理和分割策略，确保了评估的公平性。GLBench主要用于评估GraphLLM方法在监督和零样本学习场景下的性能，旨在解决图数据处理中的泛化性和效率问题。GLBench is a comprehensive graph dataset created by institutions including The Hong Kong University of Science and Technology (Guangzhou) and Tsinghua University, focusing on the node classification task of text-attributed graphs. This dataset contains 7 text-attributed graphs across different domains and scales, with the number of nodes ranging from thousands to hundreds of thousands. A unified data preprocessing and splitting strategy was adopted during the dataset creation process to ensure the fairness of evaluation. GLBench is primarily used to evaluate the performance of GraphLLM methods in supervised and zero-shot learning scenarios, aiming to address the generalization and efficiency issues in graph data processing.

原始信息汇总

GLBench: A Comprehensive Benchmark for Graphs with Large Language Models

数据集

所有数据集均可在以下链接获取： GLBench 数据集链接 请将数据集放置在 datasets 文件夹中。

基准测试

监督学习

经典图神经网络（GNN）

• 运行命令： bash cd models/gnn bash models/gnn/run.sh

大型语言模型（LLM）

• 运行命令： bash cd models/llm bash

增强器（Enhancer）

• GIANT

  • 使用 Docker 运行： bash models/enhancer/giant-xrt/dockerfile cd models/enhancer/giant-xrt/ bash run_all.sh

• TAPE

  • 运行命令： bash cd models/enhancer/TAPE/ bash run.sh

• OFA

  • 运行命令： bash cd models/enhancer/OneForAll/ bash run.sh

• ENGINE

预测器（Predictor）

• GraphText

  • 使用 Docker 运行： bash models/predictor/GraphText/dockerfile cd models/predictor/GraphText bash run.sh

• GraphAdapter

  • 运行命令： bash cd models/predictor/GraphAdapter bash run.sh

• LLaGA

对齐（Alignment）

• GLEM

  • 运行命令： bash cd models/alignment/GLEM bash run.sh

• Patton

  • 运行命令： bash bash run_pretrain.sh bash nc_class_train.sh bash nc_class_test.sh

零样本学习（Zero-shot）

大型语言模型（LLM）

• 运行命令： bash cd models/llm

增强器（Enhancer）

• OFA

  • 运行命令： bash cd models/enhancer/OneForAll/ bash run_zeroshot.sh

• ZeroG

  • 运行命令： bash cd models/enhancer/ZeroG/ bash run.sh

预测器（Predictor）

• GraphGPT
  • 运行命令： bash cd models/predictor/GraphGPT bash ./scripts/eval_script/graphgpt_eval.sh

搜集汇总

数据集介绍

构建方式

GLBench数据集是为了评估GraphLLM方法而构建的，它提供了监督学习和零样本学习两种场景下的评估。数据集的构建方式包括收集了7个多样化的真实世界数据集，涵盖了多个领域，包括引文网络、网页链接和社会网络等。这些数据集被选择用于确保数据集的多样性和代表性，以支持对GraphLLM方法在监督学习和零样本学习场景下的有效性进行稳健的评估。

特点

GLBench数据集的特点是它提供了一个公平和全面的评估环境，允许对不同的GraphLLM方法进行公平比较。数据集涵盖了多种类型的方法，包括LLM-as-enhancer、LLM-as-predictor和LLM-as-aligner等。此外，数据集还支持监督学习和零样本学习两种场景，这有助于评估GraphLLM方法在不同情况下的性能。最后，GLBench数据集的构建方式确保了数据集的多样性和代表性，以支持对GraphLLM方法在监督学习和零样本学习场景下的有效性进行稳健的评估。

使用方法

GLBench数据集的使用方法包括下载数据集和代码，并按照提供的指南进行实验。数据集和代码可以在https://github.com/NineAbyss/GLBench上找到。在实验中，用户可以使用数据集对不同的GraphLLM方法进行评估，包括LLM-as-enhancer、LLM-as-predictor和LLM-as-aligner等。此外，用户还可以使用数据集来探索GraphLLM方法在监督学习和零样本学习场景下的性能。在使用数据集时，用户需要遵循数据集的使用协议，并尊重数据集的版权。

背景与挑战

背景概述

随着大型语言模型（LLMs）的兴起，我们与图交互的方式发生了革命性的变化，从而催生了一种新的范式，称为GraphLLM。近年来，GraphLLM方法取得了快速发展，但由于缺乏具有一致实验协议的基准，该领域的进展和理解仍然不明确。为了填补这一空白，我们引入了GLBench，这是第一个用于评估GraphLLM方法的综合基准，包括监督和零样本场景。GLBench提供了对不同类别GraphLLM方法的公平和全面的评估，并与传统的基线，如图神经网络（GNNs）进行了比较。通过对一系列真实世界数据集进行广泛的实验，我们发现了一些关键发现。首先，在监督设置中，GraphLLM方法优于传统基线，其中LLM-as-enhancers表现出最稳定的性能。然而，使用LLMs作为预测器效果较差，并经常导致不可控的输出问题。我们还注意到，当前GraphLLM方法没有明确的缩放定律。此外，结构和语义对于有效的零样本迁移至关重要，我们提出的简单基线甚至可以优于一些专门为零样本场景设计的模型。基准的数据和代码可以在https://github.com/NineAbyss/GLBench找到。

当前挑战

GLBench数据集的挑战主要包括：1) GraphLLM方法在监督设置中优于传统基线，但在零样本场景中表现不佳，需要进一步研究和改进；2) GraphLLM方法通常需要更多的计算复杂性和空间，因此需要解决效率问题，以使其能够在实际应用中得到广泛应用；3) 需要进一步研究GraphLLM方法在不同领域和任务中的性能和适用性，以促进其发展和应用。

常用场景

经典使用场景

在图学习领域，GLBench 数据集被广泛应用于评估和比较各种图语言模型（GraphLLM）方法的性能。这些方法利用大型语言模型（LLM）来辅助图学习任务，例如节点分类和链接预测。GLBench 数据集提供了统一的实验设置和多样化的真实世界图数据集，使得研究者能够公平地评估和比较不同 GraphLLM 方法的性能和效率。此外，GLBench 还支持零样本学习场景，使得研究者能够探索和评估 GraphLLM 方法的泛化能力。

衍生相关工作

GLBench 数据集的推出推动了 GraphLLM 领域的研究进展，并衍生出许多相关的经典工作。例如，研究者们利用 GLBench 数据集评估和比较了各种 GraphLLM 方法的性能和效率，揭示了 GraphLLM 方法的优势和局限性。此外，GLBench 还促进了 GraphLLM 方法的改进和发展，例如提出了新的 GraphLLM 模型和方法，以及探索了 GraphLLM 方法的泛化能力和可解释性。这些相关工作为 GraphLLM 领域的进一步发展奠定了基础，并为实际应用提供了有价值的指导。

数据集最近研究

最新研究方向

GLBench数据集的引入标志着图与大型语言模型(GraphLLM)研究领域的重大进展。该数据集提供了一个公平且全面的评估平台，用于比较和评估各种GraphLLM方法，包括监督学习和零样本学习场景。通过在真实世界数据集上的广泛实验，GLBench揭示了GraphLLM方法在性能上的优势，尤其是在作为增强器（LLM-as-enhancer）时。此外，GLBench还指出了GraphLLM方法在零样本迁移学习中的潜力和挑战，并提出了一个无需训练的基线模型，该模型在某些情况下甚至优于专门为零样本场景设计的模型。这些发现对于推动GraphLLM领域的发展，以及为图学习任务提供更有效、更高效的方法具有重要意义。

相关研究论文

• GLBench: A Comprehensive Benchmark for Graph with Large Language Models

  香港科技大学（广州） · 2024年