标签: Linear Attention

该标签下的全部文章 "Linear Attention".

• 高效 Attention 变体：从稀疏、低秩到线性注意力

  14 Sep, 2026

  区分稀疏、低秩、核线性注意力与 FlashAttention，推导因果状态更新，并用手算与可运行代码理解 Performer、RetNet、GLA、DeltaNet 和 Gated DeltaNet。