标签:transformer

NewGoogle Colab 现已支持直接使用 🤗 transformers 库

Google Colab,全称 Colaboratory,是 Google Research 团队开发的一款产品。在 Colab 中,任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机...

深入理解 BigBird 的块稀疏注意力

4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而,$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...

Transformers.js:Web 上的最新机器学习技术

我们的工程师,Transformers.js 作者Joshua Lochne在2023年11月18日在杭州举办 FEDAY 上带来了主题为「Transformers.js: State-of-the-art Machine Learning ...

长程 Transformer 模型

Tay 等人的 Efficient Transformers taxonomy from Efficient Transformers: a Survey 论文 本文由 Teven Le Scao、Patrick Von Platen、Suraj Patil、Yaci...

如何成功将 🤗 API 客户的 transformer 模型推理速度加快 100 倍

🤗 Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型,支持 250 多种语言,...