Llm-Computation-Methodology on CctoctoFX

Llm-Computation-Methodology on CctoctoFX https://pillumina.github.io/series/llm-computation-methodology/ Recent content in Llm-Computation-Methodology on CctoctoFX CctoctoFX https://pillumina.github.io/imgs/icon_head.png https://pillumina.github.io/imgs/icon_head.png Hugo -- 0.148.2 en Mon, 22 Jun 2026 09:06:00 +0800 LLM 系统分析方法论（七）：推理服务性能建模 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-7/ Mon, 22 Jun 2026 09:06:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-7/ 推理服务完整性能建模：从单 token 延迟到多请求并发，覆盖连续批处理、PagedAttention、Prefill-Decode 分离、推测解码、量化部署。含 Llama-70B 完整服务分析和 MoE 模型服务策略。跨 NVIDIA + Ascend 双平台。 LLM 系统分析方法论（六）：训练通信与掩盖分析 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-6/ Mon, 22 Jun 2026 09:05:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-6/ 训练通信完整分析：从物理原理到框架实现，覆盖 TP/PP/DP/EP/CP/FSDP2 六种并行维度的通信模式、时间线建模和掩盖策略。含 M3 完整 step time 推演和 Dense 70B/M3 MoE 多场景实战。跨 NVIDIA + Ascend 双平台。 LLM 系统分析方法论（五）：训练显存估算 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-5/ Mon, 22 Jun 2026 09:04:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-5/ 训练显存完整估算：从单卡四笔账（权重/优化器/梯度/激活）出发，叠加 TP/PP/DP/CP/EP 并行折扣，结合 ZeRO/FSDP、Gradient Checkpointing、Offload 建立训练显存体系。含 M3 完整案例和多模态/LoRA 微调场景。 LLM 系统分析方法论（四）：M3 实战推演与 Roofline 模型 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-4/ Mon, 22 Jun 2026 09:03:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-4/ MiniMax M3 完整推演：从 config.json 到参数量、FLOPs、KV Cache、推理显存的全链路计算。Roofline 模型分析推理延迟，理解 FP8/INT4 量化的性能收益。 LLM 系统分析方法论（三）：KV Cache 与推理显存 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-3/ Mon, 22 Jun 2026 09:02:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-3/ KV Cache 原理与公式推导，覆盖 GQA / MLA / MSA / Mamba-2 四种架构的缓存策略；推理显存完整拆解，包括权重、KV Cache、激活值的显存占用计算。 LLM 系统分析方法论（二）：FLOPs 估算 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-2/ Mon, 22 Jun 2026 09:01:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-2/ FLOPs 完整估算：从矩阵乘法到 Attention 到 FFN，覆盖 Full Attention / MSA / MLA / Mamba-2 / GDN 六种注意力架构。 LLM 系统分析方法论（一）：预备知识与参数分解 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-1/ Mon, 22 Jun 2026 09:00:00 +0800 https://pillumina.github.io/posts/aiinfra/llm-computation-methodology/part-1/ 从 config.json 到参数量、FLOPs、KV Cache、推理显存的完整计算推导。覆盖 Full Attention / MSA / MLA / Mamba-2 / SWA / GDN 六种注意力架构。第一篇：矩阵乘法基础与参数分解。