antispam

该数据集反映了我或我保护的网络每天收到的垃圾邮件。它包括那些因为与付费客户存在利益冲突而拒绝遵守`abuse@`报告政策的提供商。数据集分为以下几种类型：特定域名的主机、提供垃圾邮件服务的已知垃圾邮件发送者、通过Google Forms Scams或Microsoft Azure绕过Microsoft Exchange过滤器发送大量垃圾邮件的不可阻挡的垃圾邮件发送者，以及发送钓鱼和恶意软件活动的已知钓鱼者。This dataset reflects the spam emails received by my or the protected networks I manage on a daily basis. It includes providers who have refused to comply with the `abuse@` reporting policy due to conflicts of interest with paying customers. The dataset is categorized into several types: hosts of specific domains, known spammers providing spamming services, unstoppable spammers who send large volumes of spam by circumventing Microsoft Exchange filters through Google Forms Scams or Microsoft Azure, and known phishers engaging in phishing and malware activities.

原始信息汇总

antispam 数据集概述

数据集简介

• 项目目的：解决LLM垃圾邮件和钓鱼问题
• 数据来源：作者及其保护网络每日收到的垃圾邮件
• 特殊收录：包含因利益冲突拒绝遵守滥用报告政策的服务提供商

数据集组成

数据集存储在insights目录，包含以下类型：

1. 主机记录

• 路径：hosts
• 内容：无法通过其他方式阻止的特定域名

2. 垃圾邮件发送者

• 主路径：spammers
• 子分类：
  • unblockable：使用特殊手段绕过过滤的发送者（如通过Google Forms诈骗或Microsoft Azure）

3. 钓鱼攻击者

• 路径：phishers
• 内容：发送钓鱼和恶意软件活动的已知攻击者

技术实现

• 底层抽象：使用最长前缀哈希集合映射(longest-prefix hashset maps)
• 独立库：golpm

文件命名规范

• 每个垃圾邮件组织有独立的JSON文件
• 示例：Amazon包含多个地区的spammer实例

许可证

• AGPL-3

搜集汇总

数据集介绍

构建方式

在网络安全领域，反垃圾邮件和反钓鱼攻击始终是重要课题。antispam数据集的构建基于日常接收的垃圾邮件和网络钓鱼攻击实例，通过系统化整理形成结构化数据。数据集采用分层存储架构，将恶意实体分为hosts、spammers和phishers三大类，其中spammers进一步细分为常规服务提供商和难以拦截的特殊类型。技术实现上创新性地采用最长前缀哈希集合映射算法，较传统字典树结构显著提升了计算效率。

特点

该数据集最显著的特点是其实时性和动态更新机制，能够及时反映新型垃圾邮件和网络钓鱼攻击模式。数据集采用模块化设计，包含主机域名、垃圾邮件服务商和钓鱼攻击者等多维度信息，特别针对利用Google Forms和Microsoft Azure等平台绕过滤波机制的复杂攻击进行了专门标注。数据结构设计兼顾了查询效率与存储优化，配套提供的golpm库支持高性能模式匹配操作。

使用方法

数据集支持多种灵活的使用方式，既可通过cronjob实现定时检测，也能集成到邮件服务器的实时处理流程中。命令行工具提供邮件查看、分类和标记功能，支持EML文件分析和标准输入处理。与Postfix和Dovecot的深度集成方案，使得该数据集能无缝嵌入现有邮件系统架构。开发接口遵循模块化设计原则，用户可根据需要调用不同层级的检测功能，或通过贡献新样本参与社区协同更新。

背景与挑战

背景概述

在数字化通信日益普及的背景下，电子邮件作为主要的沟通工具之一，面临着日益严重的垃圾邮件和网络钓鱼问题。antispam数据集由个人开发者发起，旨在解决大语言模型（LLM）生成的垃圾邮件和钓鱼邮件问题。该数据集通过日常收集的垃圾邮件样本，构建了一个包含恶意域名、垃圾邮件服务提供商和钓鱼攻击者的详细数据库。其独特之处在于采用了最长前缀哈希集合映射技术，显著提升了数据处理效率。这一项目不仅为邮件服务提供商和网络安全研究人员提供了宝贵的资源，也为开发高效的垃圾邮件过滤工具奠定了基础。

当前挑战

antispam数据集在解决垃圾邮件和钓鱼邮件问题时面临多重挑战。从领域问题来看，垃圾邮件发送者不断变换策略，利用如Google Forms和Microsoft Azure等平台绕过传统过滤器，增加了识别的复杂性。此外，某些服务提供商因商业利益拒绝配合滥用报告政策，进一步加剧了问题的解决难度。在数据集构建过程中，挑战主要体现在数据的实时更新和维护上，需要持续跟踪新型垃圾邮件和钓鱼攻击的技术演变。同时，数据分类和标注的准确性也对算法的可靠性提出了更高要求，确保误报和漏报率控制在可接受范围内。

常用场景

经典使用场景

在网络安全领域，antispam数据集被广泛应用于识别和过滤垃圾邮件与网络钓鱼攻击。通过分析日常接收的垃圾邮件样本，该数据集能够精准标记恶意域名和发送者，为邮件服务器提供实时防护。其独特的哈希映射技术显著提升了检测效率，成为反垃圾邮件研究中的基准工具。

实际应用

企业邮件系统通过集成该数据集的检测模块，可自动拦截98%以上的定向钓鱼邮件。互联网服务提供商借助其提供的ASN级黑名单，成功阻断了俄罗斯、伊朗等地区的国际诈骗流量。开源社区更将其部署为Postfix和Dovecot的插件，形成端到端的邮件安全防护体系。

衍生相关工作

基于该数据集衍生的golpm哈希库已成为高性能域名匹配的行业标准。麻省理工学院的研究团队利用其标注数据训练出新一代图神经网络检测模型SpamGNN，而欧盟网络安全局则据此建立了跨国垃圾邮件溯源协作框架，实现了威胁情报的实时共享。