tiny-attn从零实现高性能 Attention

面向学习与工程实践的 CUDA 算子演进：从 Naive GEMM 到 Tiled GEMM，最终通往 FlashAttention 风格的 Online Softmax。

硬件对齐

透彻理解 Global Memory → Shared Memory → Register，以及 Grid / Block / Warp / Thread 的执行模型。

每个阶段都从上一步的性能瓶颈出发：访存合并、数据复用、向量化、Bank Conflict 消除。

采用大模型原生行优先布局，落地 QKV 融合投影 $Y = XW^T + b$，直连 Attention 计算路径。