https://pillumina.github.io/tags/attention/ Recent content in Attention on CctoctoFX https://pillumina.github.io/imgs/icon_head.png https://pillumina.github.io/imgs/icon_head.png Hugo -- 0.148.2 en Tue, 09 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/minimax-m2.7/ Tue, 09 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/minimax-m2.7/ M2.7（229.9B/9.8B 激活）的核心不在规模而在自我进化范式。本期拆解五代演进脉络（Text-01 → M2.7）、62层 Full Attention + GQA + 256 MoE 的设计空间、单 token 6.1 TFLOPs / 48.8GB KV Cache 的计算分析，以及 attention 和 MoE gate 的算子级拆解。