标签: Transformer
该标签下的全部文章 "Transformer".
ViT 入门实测：图片变成 token 以后，模型究竟学会了什么？
更新于:从真实 MNIST ViT 张量流、位置与 patch 消融，到颜色捷径和固定错例，建立视觉模型的第一条证据链。
Transformer 中的位置编码：原理、公式与 PyTorch 实现
从自注意力的置换等变性出发，推导正弦/余弦位置编码，比较可学习位置嵌入、相对位置、RoPE 与 ALiBi，并给出带形状说明的 PyTorch 实现。
高效 Attention 变体：从稀疏、低秩到线性注意力
区分稀疏、低秩、核线性注意力与 FlashAttention，推导因果状态更新，并用手算与可运行代码理解 Performer、RetNet、GLA、DeltaNet 和 Gated DeltaNet。
大模型基础（二）：Self-Attention 从张量到多头机制
更新于:逐步拆解 Q、K、V 投影、缩放点积、Mask、Softmax、Value 聚合与 Multi-Head Attention，并用可手算案例解释训练和推理中的真实数据流。