大规模 Transformer 模型 8 比特矩阵乘简介 – 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型...
排序
基于 Hugging Face Datasets 和 Transformers 的图像相似性搜索
通过本文，你将学习使用 🤗 Transformers 构建图像相似性搜索系统。找出查询图像和潜在候选图像之间的相似性是信息检索系统的一个重要用例，例如反向图像搜索 (即找出查询图像的原图)。此类系统试...
推介 SafeCoder
今天这篇推文，我们打算给自己打一波“广告”，向大家隆重介绍 SafeCoder—— 一款专为企业打造的代码助手解决方案。 SafeCoder 旨在成为你完全合规且自托管的结对编程工程师，从而释放企业的...
更难、更好、更快、更强：LLM Leaderboard v2 现已发布
摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺...
深入了解视觉语言模型
人类学习本质上是多模态 (multi-modal) 的，因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地，多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感，创建可以利用图像...
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗
近段时间，ChatGPT 横空出世并获得巨大成功，使得 RLHF、SFT、IFT、CoT 等这些晦涩的缩写开始出现在普罗大众的讨论中。这些晦涩的首字母缩略词究竟是什么意思？为什么它们如此重要？我们调查...
俄罗斯套娃 (Matryoshka) 嵌入模型概述
在这篇博客中，我们将向你介绍俄罗斯套娃嵌入的概念，并解释为什么它们很有用。我们将讨论这些模型在理论上是如何训练的，以及你如何使用 Sentence Transformers 来训练它们。 除此之外，我...
Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 A...
优化故事- BLOOM 模型推理
经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化 (别忘了 OpenAI 8...
在 Transformers 中使用对比搜索生成可媲美人类水平的文本🤗
1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法...