Reformer 模型 – 突破语言建模的极限
Reformer 如何在不到 8GB 的内存上训练 50 万个词元 Kitaev、Kaiser 等人于 20202 年引入的 Reformer 模型 是迄今为止长序列建模领域内存效率最高的 trans...
排序
深入理解 BigBird 的块稀疏注意力
4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...