标签: 位置编码

该标签下的全部文章 "位置编码".

• Transformer 中的位置编码：原理、公式与 PyTorch 实现

  17 Sep, 2026

  从自注意力的置换等变性出发，推导正弦/余弦位置编码，比较可学习位置嵌入、相对位置、RoPE 与 ALiBi，并给出带形状说明的 PyTorch 实现。