rtferraz/cuda-kernel-engineering

这是一个关于CUDA内核工程的实践项目集，基于NVIDIA L4 GPU（GCP）构建。涵盖了从第一个内核到优化平铺GEMM的完整路径，并在每一步都提供了Nsight Compute的性能分析证据。使用的硬件是NVIDIA L4（sm_89，300 GB/s，23 GB GDDR6），软件栈包括CUDA 11.8 / driver 12.4、PyTorch和Nsight Compute 2022.3。项目包括向量加法、朴素GEMM、归约和平铺GEMM，每个项目都专注于不同的关键技能，如内核解剖、构建管道、共享内存、平铺和双缓冲等。A hands-on CUDA kernel engineering portfolio built on an NVIDIA L4 GPU (GCP). Covers the complete path from first kernel to optimized tiled GEMM, with Nsight Compute profiling evidence at every step. Hardware: NVIDIA L4 (sm_89, 300 GB/s, 23 GB GDDR6). Stack: CUDA 11.8 / driver 12.4, PyTorch, Nsight Compute 2022.3. Projects include vector addition, naive GEMM, reduction, and tiled GEMM, each focusing on different key skills such as kernel anatomy, build pipeline, shared memory, tiling, and double buffering.

搜集汇总

数据集介绍

构建方式

该数据集以一个系统化的CUDA内核工程作品集形式呈现，构建于NVIDIA L4 GPU（sm_89）之上，依托CUDA 12.4与PyTorch 2.10.0软件栈，并借助Nsight Compute剖析工具对每一步优化进行量化验证。项目从最基础的向量加法与PyTorch扩展起步，逐步演进至朴素GEMM、基于共享内存与warp shuffles的归约操作，以及分块GEMM的多个迭代版本。每个版本都针对特定的优化假设——如寄存器阻塞、Float4向量化加载、双缓冲与1×1寄存器块——进行实现，并严格与cuBLAS基线对比，形成可复现的性能基准与剖析证据链。

特点

本数据集的核心特色在于不仅收录了性能提升的成功案例，更系统性地记录了优化假设被实验证伪的珍贵负样本。例如，双缓冲优化在4096规模下未带来任何加速，而基于Volkov理论及CUTLASS经验设计的1×1寄存器块策略反而导致性能严重退化。这些负结果经由注册表溢出分析、warp调度证据与ILP-TLP平衡性剖析，揭示了手写FP32 GEMM在不使用Tensor Cores时约20–30% cuBLAS性能的自然天花板。数据集同时整合了从内核开发、PyTorch C++扩展到Nsight Compute剖析的全链路能力证明。

使用方法

使用者可通过阅读各项目独立的README文档，按编号顺序从初阶向量加法到进阶分块GEMM逐步实践。每个项目均提供完整的CUDA内核源码、PyTorch扩展构建脚本以及.ncu-rep格式的Nsight Compute剖析文件，便于复现性能数据与可视化分析。特别推荐重点关注v4与v5的负结果文档，其中包含详尽的根因分析与研究文献引用，为GPU编程中的假设验证与实验设计提供实战教学素材。数据集还附带了开源贡献路线图（ADR-002），引导学习者将习得的技能迁移至CuPy、CUTLASS或vLLM等真实项目。

背景与挑战

背景概述

CUDA内核工程是高性能计算领域的核心研究方向之一，其目标是通过精细化的GPU编程优化，充分释放硬件潜力，加速深度学习、科学计算等关键应用。cuda-kernel-engineering数据集由研究者rtferraz基于NVIDIA L4 GPU（GCP平台）于2024年创建，系统性地记录了从基础向量加法到复杂分块矩阵乘法（GEMM）的优化历程，覆盖了内存合并、共享内存、寄存器阻塞、双缓冲等经典技术。该数据集的核心研究问题在于：以cuBLAS为基线，通过自研内核逼近其性能极限，并实证检验文献中提出的优化假设。其对相关领域的影响力体现在：以详尽的基准测试和Nsight Compute性能剖析数据，为GPU编程教学和性能优化提供了可复现的实证案例，尤其强调了负结果（如双缓冲无效、高占用率反致性能倒退）的学术价值。

当前挑战

该数据集面临的首要挑战在于解决GPU计算中计算与访存平衡的领域难题：尽管分块和寄存器阻塞技术将FP32 GEMM性能提升至cuBLAS的56%，但受限于未使用Tensor Core，性能天花板约在20–30%区间，揭示了纯手写内核与专用硬件的鸿沟。构建过程中的挑战包括：在v4版本中，经典延迟隐藏优化——双缓冲未能带来任何加速，证明瓶颈非全局内存延迟；v5版本中，基于Volkov GTC 2010和CUTLASS理论的1×1寄存器块设计反致性能倒退约2倍，因高线程数压缩了块级并行度且缺乏指令级并行（ILP），证实了理论推理必须经受实证检验。这些负结果强调了系统性性能分析需要结合TLP-ILP平衡、共享内存带宽等微观因素，对教学与工业实践具有指导意义。

常用场景

经典使用场景

在GPU编程与高性能计算领域，cuda-kernel-engineering数据集的核心价值在于为研究者与工程师提供一套完整的CUDA内核工程实践指南。该数据集以NVIDIA L4 GPU为硬件基础，从最基础的向量加法内核出发，逐步深入到通用矩阵乘法（GEMM）的优化，涵盖了共享内存分块、寄存器阻塞、向量化全局加载、双缓冲等关键技术。每一阶段都配备了Nsight Compute的性能剖析证据，并严格对照cuBLAS基准线进行量化评估，是学习CUDA内核开发、性能分析与优化策略的经典教学资源。

解决学术问题

该数据集系统性地解决了GPU内核优化领域中多个悬而未决的学术问题，尤其聚焦于计算密集型GEMM内核的性能瓶颈诊断。通过精心设计的对比实验，数据集实证揭示了简单分块策略（Tiling）虽能提升性能但远非充分，而寄存器阻塞与指令级并行（ILP）的协同优化才是关键。更富启发的是，数据集以详实的负结果分析表明，双缓冲在内存延迟非瓶颈时失效，而增加线程块占用率若以牺牲ILP为代价反而导致性能灾难。这些发现挑战了传统优化直觉，为理解ILP与线程级并行（TLP）的非单调关系提供了实证基础。

衍生相关工作

该数据集直接衍生了多个重要的学术与实践工作，尤其在开源社区中产生了显著影响。其内核优化系列（v1至v5）被视为CUDA工程教育的标准案例，被广泛引用以教学内存合并、共享内存排、寄存器分配与ILP-TLP平衡等核心概念。数据集促使作者将技能迁移至CuPy的int8矩阵乘法性能回归修复项目（cupy/cupy#6611），并规划了后续向CUTLASS、vLLM及TensorRT-LLM等高阶库的贡献路线。此外，对Volkov GTC 2010、CUTLASS默认配置及Ada寄存器文件分析等经典工作的实证检验，增进了对GPU微架构行为的理解。