Memos WorldMemos World
返回 AI Time

新论文分析并增强 Kimi Delta Attention 表达力

研究与安全次要
一篇论文聚焦 Kimi Delta Attention(KDA),指出其基于 delta-rule 的线性更新因低秩修正而限制表达力;文中提到,在单次循环更新中复合两次 delta-rule 转移可建模二维旋转,但会提升更新秩与成本,论文在此方向上探讨增强 KDA 表达力的方法。

相关事件

相关主体