Tag: Architecture

All the articles with the tag "Architecture".

• 大模型推理与缓存机制全景图解：从 Prompt Caching 到“自回归的诅咒”

  20 Jul, 2026

  系统性梳理大模型推理的双阶段（Prefill/Decode）、KV Cache机制、Prompt Caching的前缀匹配与云端生命周期，以及自回归生成中的概率抽样与“滚雪球诅咒”。