全部文章
凡落于此的手记，按年月陈列，供慢慢翻阅。
2026 Agent 前沿与未解问题：从长任务、记忆到自动研究
基于截至 2026 年 9 月 14 日的一手资料，梳理 Agent 的八条前沿路线，解释可靠性、记忆、强化学习、多智能体协作、电脑操作、自动科研和安全的进展与边界。
高效 Attention 变体：从稀疏、低秩到线性注意力
区分稀疏、低秩、核线性注意力与 FlashAttention，推导因果状态更新，并用手算与可运行代码理解 Performer、RetNet、GLA、DeltaNet 和 Gated DeltaNet。
大模型基础（二）：Self-Attention 从张量到多头机制
更新于:逐步拆解 Q、K、V 投影、缩放点积、Mask、Softmax、Value 聚合与 Multi-Head Attention，并用可手算案例解释训练和推理中的真实数据流。
大模型基础（一）：Transformer 到底改变了什么？
更新于:从序列建模难题出发，拆解 Transformer 的 Encoder–Decoder、Self-Attention、位置编码和残差路径，并建立现代 Transformer 变体的完整坐标系。