Hugging Face 发布 Transformer 表示演化方向分解研究

Hugging Face 发布研究，将 Transformer 表示的学习更新建模为加性变换，并分解为平行与垂直分量。研究发现预训练模型中存在超出残差恒等路径的显著平行分量，随后将该分解应用于两个场景。