Klarna Product Page Dataset

Klarna产品页面数据集是由瑞典皇家理工学院和Klarna公司共同创建的一个大规模、多样化的网页数据集，包含来自8175个电子商务网站的51,701个手动标注的产品页面。该数据集旨在模拟自主购物助手的场景，帮助提取跨多个网站的产品信息，并支持图神经网络和大型语言模型在网页元素提名任务中的研究。数据集不仅覆盖了多个地理区域，还包括了多种语言的文本元素，为网页自动化和计算机视觉研究提供了丰富的资源。

The Klarna Product Page Dataset is a large-scale, diverse web dataset jointly developed by the KTH Royal Institute of Technology and Klarna. It comprises 51,701 manually annotated product pages sourced from 8,175 e-commerce websites. This dataset is intended to simulate the scenario of autonomous shopping assistants, enabling the extraction of cross-website product information, and supporting research on web element nomination tasks utilizing Graph Neural Networks (GNNs) and Large Language Models (LLMs). Spanning multiple geographic regions and incorporating textual elements in diverse languages, the dataset provides a valuable resource for research in web automation and computer vision.

搜集汇总

数据集介绍

构建方式

Klarna Product Page Dataset的构建源于对真实电子商务网页的精细采集与标注。研究团队在2018至2019年间，从八个地理区域的8,175个电商网站中，收集了51,701个产品页面。每个页面均以MHTML格式保存，完整保留了渲染所需的图像与资源。人类分析师依据严格指南，为每个页面手动标注了五个关键元素：购买按钮、购物车按钮、产品图片、价格和名称，并额外定义了主题节点作为所有标签的最低公共祖先。数据集被划分为80%的训练集和20%的测试集，确保来自同一网站的页面不会同时出现在两个集合中，从而保障了评估的公正性。

特点

该数据集的核心特点在于其无与伦比的规模与多样性。相较于以往局限于少数网站或模拟页面的数据集，Klarna Product Page Dataset涵盖了超过8,000个不同电商平台，每个页面平均包含1,308个DOM节点，真实反映了互联网的复杂结构。其独特之处还在于多语言支持，页面文本涵盖德语、英语、芬兰语等多种语言，打破了仅限英文页面的局限。此外，数据集提供了渲染页面的截图，为计算机视觉研究开辟了新的可能。标签设计兼顾了局部信息可识别的元素（如价格）与依赖上下文的复杂元素（如购买按钮），构成了丰富的学习挑战。

使用方法

数据集的使用聚焦于网页元素提名任务，即从页面中唯一识别出特定类别的元素。研究者可基于DOM树结构，利用图神经网络（GNN）对节点进行嵌入与分类，随后通过排序得分最高的节点完成提名。论文提供了完整的基准实验框架，包括使用GCN-Mean等模型进行基础训练，以及结合大语言模型（如GPT-4）的精细化后处理步骤。此外，提出的挑战性提名训练流程（CNTP）通过引入困难负样本，有效弥合了分类目标与提名目标之间的差距。数据集代码与标注均已在GitHub上以CC BY-NC-SA许可公开，便于研究者复现与拓展。

背景与挑战

背景概述

在网页自动化领域，精准识别网页元素是实现智能交互的核心任务之一。然而，现有数据集多局限于模拟环境或单一网站，难以反映真实互联网的复杂性与多样性。为填补这一空白，Klarna公司与KTH皇家理工学院的研究人员于2018至2019年间构建了Klarna Product Page Dataset，并于2024年正式发布。该数据集包含来自8,175个电商网站的51,701个手动标注的产品页面，覆盖八个地理区域，每个页面标注了购买按钮、购物车按钮、价格、名称、图片及主题节点六类元素。其规模与多样性远超此前同类数据集，为网页元素提名任务提供了前所未有的研究基础，并推动了图神经网络与大语言模型在该领域的应用探索。

当前挑战

该数据集所面临的挑战主要体现在两个方面。其一，网页元素提名任务本身极具难度：在包含上千个节点的DOM树中，每类元素仅有一个正确标签，即使分类准确率高达99%，仍可能因误判而提名错误元素。不同元素对上下文信息的依赖程度各异，例如主题节点需全局结构信息，而购买按钮则更依赖局部特征，这要求算法具备灵活的信息整合能力。其二，数据集构建过程充满困难：需跨多个市场与语言环境手动标注，标注标准难以统一，且页面渲染方式（如移动端视图）可能引入偏差。此外，标注成本高昂，对标注者的网页开发知识要求较高，进一步增加了数据集的构建与维护难度。

常用场景

经典使用场景

在网页自动化领域，精准识别页面中的关键元素是实现高效人机交互的基石。Klarna Product Page Dataset 专为网页元素提名任务而设计，其经典使用场景在于从真实电商页面的DOM树中，利用图神经网络（GNN）等模型自动定位购买按钮、购物车按钮、产品图片、价格及名称等六类关键元素。该数据集包含超过51,000个来自8,175个网站的标注页面，覆盖八种地理市场，为算法提供了丰富且真实的训练与测试环境。研究者通过将页面结构建模为图，并应用GCN、Tree-LSTM等嵌入器，实现对目标元素的精准提名，从而推动网页自动化从模拟环境走向大规模真实应用。

解决学术问题

该数据集解决了网页自动化研究中长期存在的两大核心学术难题：一是缺乏大规模、多语言、跨网站的真实标注数据，导致算法泛化能力评估受限；二是网页元素提名任务中分类与提名目标不一致，传统分类模型难以直接优化提名精度。Klarna Product Page Dataset 通过提供51,701个手工标注页面，覆盖8个地理市场，突破了以往数据集规模小、语言单一、网站数量有限的瓶颈。同时，论文提出挑战提名训练流程（CNTP），将分类目标导向提名目标，显著提升提名准确率，为构建鲁棒的网页智能代理奠定了数据与方法基础。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作。基准实验表明，简单的GCN-Mean模型在元素提名任务上超越复杂的FreeDOM等现有方法，激发了后续对轻量级图神经网络在网页结构化信息提取中的探索。论文中提出的GCN与GPT-4相结合的提名精炼流程，将平均准确率提升16.8个百分点，开创了大型语言模型辅助网页元素识别的新范式。此外，挑战提名训练流程（CNTP）为分类与提名目标的对齐提供了可复用的方法论，启发了后续研究在正负样本不平衡场景下的训练策略优化。这些工作共同推动了网页自动化从实验室模拟向大规模真实部署的跨越。