CctoctoFX
Yuxiao Huang
Software engineer working at the intersection of AI infrastructure and ML systems.
Grounded in systems thinking — no fluff, just signal.
Yuxiao Huang
Software engineer working at the intersection of AI infrastructure and ML systems.
Grounded in systems thinking — no fluff, just signal.
基于 V4-Flash 主报告的配套 QA,共 287 问。覆盖 LLM 预备知识、V3.2→V4 演进、注意力系统(CSA/HCA)、MoE 路由(Aux-Loss-Free/Sinkhorn-Knopp)、残差与优化器(mHC/Muon)、上下文与量化(1M/RoPE/FP4/FP8)、训练与推理部署。由浅入深,可作面试准备。
V4-Flash(284B 总参 / 13B 激活)是 DeepSeek 2026-04-24 发布的旗舰 MoE 模型。核心创新为 CSA+HCA 混合稀疏注意力(长上下文 1M 支持)、62 层 384 专家 MoE、mHC 多通道残差替代 Pre-Norm、Muon 正交化优化器。本期完整拆解 V3.2→V4 演进、稀疏注意力双引擎、8 类 gating 负载均衡对比、FP4+FP8 混合量化,以及 13 类架构组合的 4D Parallelism 部署策略。
GLM-5.1(744B 总参 / 40B 激活)是智谱 AI 与清华联合发布的旗舰 Agent 大模型。核心创新为 DSA 动态稀疏注意力(top-2048, 节省 72.5% 注意力计算)+ MLA 潜 KV 压缩(理论 ~19 GB)+ 256+1 MoE(routed_scaling_factor=2.5)。本期完整拆解 78 层架构、DSA Indexer 7 步算子、MLA Muon Split、异步 Agent RL 训练体系,并与 M2.7 做全维度对比。
M2.7(229.9B/9.8B 激活)的核心不在规模而在自我进化与训练体系。本期拆解五代演进、62层 Full Attention + 256 MoE 设计空间、单 token 6.1 TFLOPs / 48.8GB KV Cache / ~510GB 推理显存的计算分析,以及 attention + MoE gate 的算子级拆解,另附完整训练体系(29.2T tokens / FP8 / 自进化)。
Qwen3.5-MoE(255B 总参 / 30B 激活)是阿里 Qwen 团队的 MoE 旗舰模型。核心创新为 Gated DeltaNet(GDN)线性注意力与传统 Full Attention 的混合架构(Hybrid-Attn)、2048 专家细粒度 MoE(k=8 激活 + 1 共享)、FW4a 量化部署。本期拆解 GDN chunkwise-parallel 递归机制、混合注意力层分布策略、MoE 拓扑及与 M2.7/GLM-5.1/V4-Flash 的对比。