标签: PyTorch

该标签下的全部文章 "PyTorch".

• Transformer 中的位置编码：原理、公式与 PyTorch 实现

  17 Sep, 2026

  从自注意力的置换等变性出发，推导正弦/余弦位置编码，比较可学习位置嵌入、相对位置、RoPE 与 ALiBi，并给出带形状说明的 PyTorch 实现。

• LoRA 微调讲透：A/B 矩阵怎样初始化、训练与合并

  14 Sep, 2026

  从低秩增量的逻辑出发，推导 LoRA A/B 矩阵形状、参数量和首步梯度，用可运行 PyTorch 示例解释一随机一为零的初始化，并介绍 PEFT、QLoRA、PiSSA 与 MoE 适配。