标签: 大模型推理

该标签下的全部文章 "大模型推理".

• vLLM、FSDP 与大模型训练到推理：一份端到端基础设施指南

  19 Sep, 2026

  系统讲解 vLLM 的分页 KV Cache、连续批处理与推理并行，以及 FSDP/FSDP2 的状态分片、集合通信和检查点，并给出从训练到 OpenAI 兼容服务的示例、选型表与排障清单。