标签: LoRA
该标签下的全部文章 "LoRA".
LoRA 微调讲透:A/B 矩阵怎样初始化、训练与合并
从低秩增量的逻辑出发,推导 LoRA A/B 矩阵形状、参数量和首步梯度,用可运行 PyTorch 示例解释一随机一为零的初始化,并介绍 PEFT、QLoRA、PiSSA 与 MoE 适配。
该标签下的全部文章 "LoRA".
从低秩增量的逻辑出发,推导 LoRA A/B 矩阵形状、参数量和首步梯度,用可运行 PyTorch 示例解释一随机一为零的初始化,并介绍 PEFT、QLoRA、PiSSA 与 MoE 适配。