CctoctoFX
Yuxiao Huang
Software engineer working at the intersection of AI infrastructure and ML systems.
System architecture
Large language models
AI infrastructure
Technology & geopolitics
Grounded in systems thinking — no fluff, just signal.
GLM-5.2 架构 QA
基于 GLM-5.2 主报告的配套 QA（27 问）。覆盖 GLM-5.1 → 5.2 演进、IndexShare 核心创新、MTP 四重改进、1M 上下文工程、训练与性能。
GLM-5.2 架构深度拆解
GLM-5.2 是智谱 AI 2026 年 6 月发布的旗舰 Agent 模型。核心创新为 IndexShare（1 full + 3 shared DSA Indexer 复用，降低 75% Indexer 计算量）、MTP 四重改进（KVShare + Stride + EMA + Score Boost）、1M 可用上下文、Agentic RL 升级。
LLM 架构计算方法论：从 config.json 到推理显存
从 config.json 到参数量、FLOPs、KV Cache、推理显存的完整计算推导。基于 8 个开源模型（M2.7 / GLM-5.1 / V4-Flash / Qwen3.5 / Mimo / Kimi / Nemotron / M3）的实战拆解经验。覆盖 Full Attention / MSA / MLA / Mamba-2 / SWA / GDN 六种注意力架构的 FLOPs 与 KV Cache 公式。
MiniMax-M3 架构 QA
基于 MiniMax-M3 主报告的配套 QA。覆盖 MSA 多阶段稀疏注意力、GQA 配置、MoE 路由、视觉编码器、MTP 投机解码、训练体系等核心主题。
MiniMax-M3 架构深度拆解
MiniMax-M3 是 MiniMax 的旗舰多模态 MoE 模型。核心创新为 MSA（Multi-stage Sparse Attention）索引机制实现长上下文稀疏注意力、GQA（64Q/8KV）、256E MoE（k=8, sigmoid+bias）、视觉编码器（ViT+MLP投影）、MTP×1 投机解码。本期完整拆解 MSA 三阶段索引、MoE 路由数据流、视觉编码架构及训练体系。