🤗 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调
动机 基于 Transformers 架构的大型语言模型 (LLM)，如 GPT、T5 和 BERT，已经在各种自然语言处理 (NLP) 任务中取得了最先进的结果。此外，还开始涉足其他领域，例如计算机...
排序
混合专家模型 (MoE) 详解
随着 Mixtral 8x7B (announcement, model card) 的推出，一种称为混合专家模型 (Mixed Expert Models，简称 MoEs) 的 Transforme...
Hugging Face 提供的推理 (Inference) 解决方案
每天，开发人员和组织都在使用 Hugging Face 平台上托管的模型，将想法变成用作概念验证（proof-of-concept）的 demo，再将 demo 变成生产级的应用。 Transform...
为 Hugging Face 用户带来无服务器 GPU 推理服务
今天，我们非常兴奋地宣布 部署到 Cloudflare Workers AI 功能正式上线，这是 Hugging Face Hub 平台上的一项新服务，它使得通过 Cloudflare 边缘数据中心部...
StarCoder: 最先进的代码大模型
关于 BigCode BigCode 是由 Hugging Face 和 ServiceNow 共同领导的开放式科学合作项目，该项目致力于开发负责任的代码大模型。 StarCoder 简介 StarC...
深入理解 BigBird 的块稀疏注意力
4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容...
Hugging Face 年度回顾：2023，开源大模型之年
在 2023 年，大型语言模型（Large Language Models，简称 LLMs）受到了公众的广泛关注，许多人对这些模型的本质及其功能有了基本的了解。是否开源的议题同样引起了广泛的讨论。在 ...
“StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程
如 ChatGPT，GPT-4，Claude语言模型 之强大，因为它们采用了 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF...
用于显著提高检索速度和降低成本的二进制和标量嵌入量化
我们引入了嵌入量化的概念，并展示了它们对检索速度、内存使用、磁盘空间和成本的影响。我们将讨论理论上和实践中如何对嵌入进行量化，然后介绍一个 演示，展示了 4100 万维基百科文本的真实检索场景。 目录...