TGI 多-LoRA: 部署一次,搞定 30 个模型的推理服务你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本? 那么, 如果你可以部署一次就搞定 30 个模型推理服务会如何? 在当今的 ML 世界中,哪些希望充分发挥其数据的价值的组织可能最终会进入一个...AI 技术文章# LoRA# TGI1年前02090
Google 最新发布: Gemma 2 2B、ShieldGemma 和 Gemma Scope在发布 Gemma 2 一个月后,Google 扩展了其 Gemma 模型系列,新增了以下几款: Gemma 2 2B - 这是 Gemma 2 的 2.6B 参数版本,是设备端使用的理想选择。 Sh...AI 技术文章# Gemma 2# Gemma Scope# ShieldGemma1年前02080
Docmatix – 超大文档视觉问答数据集本文,我们将发布 Docmatix - 一个超大的文档视觉问答 (DocVQA) 数据集,比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时,消融实验显示 DocV...AI 技术文章# Docmatix1年前02050
ggml 简介ggml 是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源,处于活跃的开发阶段,开发社区也在不断壮大。ggml 和 PyTorch、Tensor...AI 技术文章# ggml# Hugging Face1年前02050
基于 Quanto 和 Diffusers 的内存高效 transformer 扩散模型过去的几个月,我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image,T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构...AI 技术文章# Diffusers# Quanto# Transformers1年前02030
人工评估 | 基础概念基础概念 这是 人工评估 系列文章的第一篇《基础概念》,全系列包括: 基础概念 人工标注员 技巧与提示 什么是人工评估? 人工评估是指让人类评价模型输出回答的好坏。 本文讨论的都是后验评估,即模型已经...AI 技术文章# prompt# 人工评估# 数据集1年前02010
基于开放模型的推理时计算缩放过去几年,大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效,但预训练更大模型所需的资源变得异常昂贵,数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴...AI 技术文章12个月前02000
SmolLM: 一个超快速、超高性能的小模型集合简介 本文将介绍 SmolLM。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型,这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。 引言...AI 技术文章# SmoILM1年前01970
开源开发者指南:欧盟《人工智能法案》解读非法律建议。 欧盟《人工智能法案》 (EU AI Act) 是全球首部全面的人工智能立法,现已正式生效,它将影响我们开发和使用人工智能的方式——包括在开源社区中的实践。如果您是一位开源开发者,正在适应...AI 技术文章# Hugging Face# 人工智能法案# 开发指南1年前01950
现在 Llama 具备视觉能力并可以在你的设备上运行 – 欢迎使用 Llama 3.2Llama 3.2 来了!今天,我们欢迎 Llama 系列的下一个版本加入 Hugging Face。这次,我们很高兴与 Meta 合作发布多模态和小型模型。在 Hub 上提供了十个开源模型 (5 个...AI 技术文章# LLaMA1年前01950