Heri-Graphs

arXiv2022-05-16 更新2024-07-30 收录

文化遗产

多模态机器学习

数据链接：

https://github.com/zzbn12345/Heri_Graphs 数据链接链接失效反馈

官方服务：

资源简介：

该数据集用于多模态机器学习任务，通过使用Flickr上的帖子和图像来构建关于文化遗产价值和属性的图结构。数据集整合了图像、文本、地理位置、时间戳和社交网络结构等多种异构模态信息，用于挖掘其中的语义和结构特征。

This dataset is designed for multimodal machine learning tasks, constructing a graph structure regarding the value and attributes of cultural heritage using posts and images from Flickr, and integrating diverse heterogeneous modal information including images, text, geographic locations, timestamps, and social network structures to mine the semantic and structural features within it.

创建时间：

2022-05-16

原始信息汇总

Heri-Graphs 数据集概述

数据集简介

Heri-Graphs 是一个用于多模态机器学习的数据集创建框架，专注于文化遗产价值和属性的图结构数据，通过社交媒体平台收集数据。该数据集涉及三个具有运河相关联合国教科文组织世界遗产的城市：威尼斯、苏州和阿姆斯特丹。

引用信息

Bai, N., Nourian, P., Luo, R., & Pereira Roders, A. (2022). Heri-Graphs: A Dataset Creation Framework for Multi-Modal Machine Learning on Graphs of Heritage Values and Attributes with Social Media. ISPRS International Journal of Geo-Information, 11(9), 469. MDPI AG.

数据集内容

案例研究城市

阿姆斯特丹：Seventeenth-Century Canal Ring Area of Amsterdam inside the Singelgracht
苏州：Classical Gardens of Suzhou
威尼斯：Venice and its Lagoon

数据集结构

数据集分为 CSV 和 NumPy 两种格式，分别存储在以下路径：

CSV 格式：./dataset/[city]/
NumPy 格式：./dataset_np/[city]/

CSV 格式数据集

文件名	列数	描述	符号
Visual_Features.csv	984	提取的视觉特征	X<sup>vis</sup>
Textual_Features.csv	776	提取的文本特征	X<sup>tex</sup>
Value_Labels.csv	26	文化遗产价值的软标签和硬标签及置信度	Y<sup>HV</sup>
Attribute_Labels.csv	19	文化遗产属性的软标签和硬标签及置信度	Y<sup>HA</sup>
Edge_List.csv	18	多图的邻接信息（仅在 Google Drive 上可用）	A, A<sup>TEM</sup>, A<sup>SOC</sup>, A<sup>SPA</sup>

NumPy 格式数据集

文件名	数组大小	描述	符号
Visual_Features.npy	(*, 984)	提取的视觉特征	X<sup>vis</sup>
Textual_Features.npy	(*, 776)	提取的文本特征	X<sup>tex</sup>
labels.npz	-	文化遗产价值和属性的组合标签	Y<sup>HV</sup>
node_types.npy	(*, )	样本是否仅包含视觉特征或同时包含视觉和文本特征	-
train_val_test_idx.npz	-	训练集、验证集和测试集的索引	-
A_simp.npz	-	简化组合图的稀疏矩阵	A
A_SOC.npz	-	社交链接的稀疏矩阵	A<sup>SOC</sup>
A_SPA.npz	-	空间链接的稀疏矩阵	A<sup>SPA</sup>
A_TEM.npz	-	时间链接的稀疏矩阵	A<sup>TEM</sup>

数据收集流程

数据集通过社交媒体平台 Flickr 收集，包括原始数据收集、多模态特征生成、标签生成和多图构建等步骤。

数据集下载

完整处理后的数据集可通过以下链接获取：

搜集汇总

数据集介绍

构建方式

Heri-Graphs数据集通过从社交媒体平台Flickr收集用户生成的内容（UGC）构建，专注于世界遗产价值属性的多模态机器学习任务。该数据集从三个包含联合国教科文组织世界遗产的城市（阿姆斯特丹、苏州和威尼斯）收集数据，通过使用先进的机器学习模型进行数据预处理，将视觉内容的多模态信息和文本语义建模为节点特征和标签，而将他们的社会关系和时空背景建模为多图中的链接。整个流程使用数学符号进行形式化描述，可用于各种ML问题，以及城市/遗产研究问题。

特点

Heri-Graphs数据集具有以下特点：1）它是一个关于遗产价值和属性的多模态社交网络数据集，收集和结构化自Flickr的UGC，涉及三个城市（阿姆斯特丹、苏州和威尼斯）的世界遗产属性，可为遗产和城市研究提供知识记录和映射；2）它应用了最先进的机器学习和深度学习模型来生成多模态特征和伪标签，提供了可重复的方法流程；3）它构建了多图来反映收集的UGC数据样本之间的时间、空间和社会关系，可用于多种具有科学和社会相关性的任务。

使用方法

Heri-Graphs数据集的使用方法包括：1）使用视觉特征推断（可能缺失）文本中隐含的类别，通过协同训练在少样本学习设置中进行半监督学习；2）使用文本特征推断图像中隐含的类别，可能通过注意力机制进行；3）使用多模态（多视图）特征进行推理，使用训练联合表示或进行早期和/或晚期融合；4）使用图神经网络进行节点分类，测试不同的图过滤器，如图卷积网络和图注意力网络；5）测试考虑当前图结构和节点特征的链接预测算法；6）使用图池化算法生成不同分辨率的粗化图；7）使用图分类算法对具有世界遗产的城市进行摘要，以便直接推断关键的遗产价值和属性；8）使用多模态特征生成缺失和/或不适用的图像和/或文本描述；9）为每种类型的链接分别生成通用嵌入和特定上下文嵌入，并可能使用图上的随机游走来生成嵌入。

背景与挑战

背景概述

Heri-Graphs数据集旨在探索文化遗产的价值和属性，通过分析社交媒体平台上的用户生成内容（UGC）来映射公众对文化遗产的认知。该数据集由Nan Bai, Renqian Luo, Pirouz Nourian和Ana Pereira Roders等人于2022年5月提出，利用Flickr平台上的帖子和图片，构建了一个多模态数据集，用于基于图的机器学习（ML）任务。该数据集的主要目标是帮助理解和映射文化遗产的价值和属性，并为未来全球案例的研究提供支持，旨在实现包容性的文化遗产管理。

当前挑战

Heri-Graphs数据集面临的挑战包括：1) 社交媒体数据的多模态信息整合，如何将图像、文本、地理位置、时间戳和社会网络结构等异构信息结合起来，挖掘其中的语义和结构特征；2) 构建过程中的技术挑战，如如何处理数据收集和预处理过程中的隐私和版权问题，以及如何构建可扩展的图结构，以适应大规模数据集；3) 数据集的应用挑战，如如何将数据集应用于具体的城市/文化遗产研究问题，以及如何评估数据集的有效性和可靠性。

常用场景

经典使用场景

Heri-Graphs 数据集主要用于多模态机器学习任务，特别是针对文化遗产价值和属性的研究。通过收集和分析来自社交平台 Flickr 的用户生成内容（UGC），包括图片、文本、地理位置、时间戳和社会网络结构，Heri-Graphs 数据集构建了一个多模态图数据集，用于挖掘其中的语义和结构特征。该数据集的经典使用场景包括：1）利用视觉内容的多模态信息进行文化遗产价值和属性的推断；2）利用文本语义信息进行文化遗产属性的分类；3）利用时空和社会关系信息进行文化遗产价值和属性的联合推断。

衍生相关工作

Heri-Graphs 数据集的构建和应用衍生出了一系列相关的研究工作。例如，有研究利用 Heri-Graphs 数据集进行文化遗产价值和属性的分类和预测，以及利用图神经网络进行文化遗产价值的传播和扩散分析。此外，还有研究利用 Heri-Graphs 数据集进行城市旅游行为分析和城市社区演化研究。这些研究工作丰富了文化遗产研究和城市研究的领域，为相关领域的研究提供了新的思路和方法。

数据集最近研究