GLM-5.1 架构 QA

基于 GLM-5.1 主报告的配套 QA。覆盖三代演进、DSA 动态稀疏注意力、MLA 潜 KV 压缩、MoE 路由(256+1, k=8, scaling=2.5)、异步 Agent RL 训练体系等核心主题。

June 11, 2026 · 53 min · 11082 words · Me

GLM-5.1 架构深度拆解

GLM-5.1(744B 总参 / 40B 激活)是智谱 AI 与清华联合发布的旗舰 Agent 大模型。核心创新为 DSA 动态稀疏注意力(top-2048, 节省 72.5% 注意力计算)+ MLA 潜 KV 压缩(理论 ~19 GB)+ 256+1 MoE(routed_scaling_factor=2.5)。本期完整拆解 78 层架构、DSA Indexer 7 步算子、MLA Muon Split、异步 Agent RL 训练体系,并与 M2.7 做全维度对比。

June 10, 2026 · 26 min · 5532 words · Me