Hugging Face 发布 SAS 注意力稀疏化方法

Hugging Face 发布 SAS(Simple Attention Sparsification)，通过对上下文排序做端到端优化来后训练式稀疏化注意力，为每个查询只选取少量上下文单元（token 或块），以降低预训练 Transformer 的二次累积注意力开销。