Hugging Face 发布 SMELT:计算匹配 MoE 循环 Transformer 扩展

Hugging Face 官方博客发文介绍 SMELT(Sparse MoE Looped Transformers)，研究在匹配单 token FLOPs、非嵌入参数和 KV 缓存条件下 MoE 循环 Transformer 的扩展规律，并通过系列消融实验得出该配方。