「 AI 」 三月 22, 2026
【译】混合专家(Mixture of Experts, MoE)
文章字数 4.3k 阅读约需 4 mins.
- 原文地址:Mixture of Experts (MoE)
- 原文作者:Sebastian Raschka
混合专家(Mixture of Experts, MoE)是近年来开源大模型能够拥有极高的总参数量,又不会使每次推理的代价同等昂贵的主要原因之一。
其基本思想是,用多个专家型前馈块(FeedForward blocks)替换单一的稠密前馈块,然后通过路由让每个 token 只激活其中的一小部分。
查看全文引自 大语言模型架构对比:主要结构的变化非...