用于显著提高检索速度和降低成本的二进制和标量嵌入量化我们引入了嵌入量化的概念,并展示了它们对检索速度、内存使用、磁盘空间和成本的影响。我们将讨论理论上和实践中如何对嵌入进行量化,然后介绍一个 演示,展示了 4100 万维基百科文本的真实检索场景。 目录...AI 技术文章2年前03820
Quanto: PyTorch 量化工具包量化技术通过用低精度数据类型 (如 8 位整型 (int8)) 来表示深度学习模型的权重和激活,以减少传统深度学习模型使用 32 位浮点 (float32) 表示权重和激活所带来的计算和内存开销。 减...AI 技术文章# PyTorch# PyTorch 量化工具包# Quanto2年前04490
为 Hugging Face 用户带来无服务器 GPU 推理服务今天,我们非常兴奋地宣布 部署到 Cloudflare Workers AI 功能正式上线,这是 Hugging Face Hub 平台上的一项新服务,它使得通过 Cloudflare 边缘数据中心部...AI 技术文章# Cloudflare Workers AI# GPU# Hugging Face2年前03880
深入了解视觉语言模型人类学习本质上是多模态 (multi-modal) 的,因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地,多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感,创建可以利用图像...AI 技术文章2年前04160
欢迎 Mixtral – 当前 Hugging Face 上最先进的 MoE 模型最近,Mistral 发布了一个激动人心的大语言模型: Mixtral 8x7b,该模型把开放模型的性能带到了一个新高度,并在许多基准测试上表现优于 GPT-3.5。我们很高兴能够在 Hugging ...AI 技术文章# GPTQ# Mixtral# MoE 模型2年前03680
利用 🤗 Optimum Intel 和 fastRAG 在 CPU 上优化文本嵌入嵌入模型在很多场合都有广泛应用,如检索、重排、聚类以及分类。近年来,研究界在嵌入模型领域取得了很大的进展,这些进展大大提高了基于语义的应用的竞争力。BGE、GTE 以及 E5 等模型在 MTEB 基准...AI 技术文章# BGE# E5# fastRAG2年前04170
开源代码生成模型 StarCoder 2 全新上线!BigCode 正式推出 StarCoder2 —— 一系列新一代的开放源代码大语言模型 (LLMs)。这些模型全部基于一个全新、大规模且高品质的代码数据集 The Stack v2 进行训练。我们不...AI 技术文章# BigCode# LLMs# NVIDIA2年前03760
在 NVIDIA DGX Cloud 上使用 H100 GPU 轻松训练模型今天,我们正式宣布推出 DGX 云端训练 (Train on DGX Cloud) 服务,这是 Hugging Face Hub 上针对企业 Hub 组织的全新服务。 通过在 DGX 云端训练,你可以...AI 技术文章# DGX Cloud# H100 GPU# NVIDIA2年前04350
数据好合: Argilla 和 Hugging Face Spaces 携手赋能社区合力构建更好的数据集数据好合: Argilla 和 Hugging Face Spaces 携手赋能社区合力构建更好的数据集 最近,Argilla 和 Hugging Face 共同 推出 了 Data is Bette...AI 技术文章# 10kpromptsranked# Argilla# Hugging Face2年前03820