之前推过一篇 Facebook 的 ConvNeXT，今天又看到一个上个星期新出来的 XFormer，直接把二次的 attention 换成了线性 attention，也是在 ViTs 的基础上想办法减少资源使用。没看到什么别的新奇的地方。主要就是减少 GPU 使用，对数据量要求也低了不少，我没做实验。https://arxiv.org/abs/2201.10271，作者给了代码：https://github.com/pranavphoenix/cxv