https://pillumina.github.io/tags/hybrid-attention/ Recent content in Hybrid-Attention on CctoctoFX https://pillumina.github.io/imgs/icon_head.png https://pillumina.github.io/imgs/icon_head.png Hugo -- 0.148.2 en Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/qwen3.5-moe/ Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/qwen3.5-moe/ Qwen3.5-MoE（255B 总参 / 30B 激活）是阿里 Qwen 团队的 MoE 旗舰模型。核心创新为 Gated DeltaNet（GDN）线性注意力与传统 Full Attention 的混合架构（Hybrid-Attn）、2048 专家细粒度 MoE（k=8 激活 + 1 共享）、FW4a 量化部署。本期拆解 GDN chunkwise-parallel 递归机制、混合注意力层分布策略、MoE 拓扑及与 M2.7/GLM-5.1/V4-Flash 的对比。