TGI 基准测试本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标,对 TGI 进行更全面的性能剖析,以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果...AI 技术文章# 基准测试# 文本生成2年前02640
通过打包 Flash Attention 来提升 Hugging Face 训练效率简单概述 现在,在 Hugging Face 中,使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容,这要归功于一个 最近的 PR 以及新的 DataColl...AI 技术文章# Flash Attention# 训练效率1年前02630
对 LLM 工具使用进行统一我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它,你就可以在不同的模型上使用相同的代码,在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换,而...AI 技术文章# LLM1年前02610
BigCodeBench: 继 HumanEval 之后的新一代代码生成测试基准HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准,因为它使得对紧凑的函数级代码片段的评估变得容易。然而,关于其在评估 LLM 编程能力方面的有效性越来越多的担忧...AI 技术文章# BigCodeBench# HumanEval1年前02610
多视图扩散模型 |Hugging Face 3D 机器学习课🤗 3D 机器学习课程上线🎉 在本课程中,你将学习到: 当前 3D 机器学习的总体情况 近期发展的重要性 如何自己动手制作生成式 3D 演示 课程当前有 4 个短视频。由 Hugging Face 机...AI 视频教程# 3D# Hugging Face# 多视图扩散模型2年前02600
高斯喷溅|Hugging Face 3D 机器学习课🤗 3D 机器学习课程上线🎉 在本课程中,你将学习到: 当前 3D 机器学习的总体情况 近期发展的重要性 如何自己动手制作生成式 3D 演示 课程当前有 4 个短视频。由 Hugging Face 机...AI 视频教程# 3D# Hugging Face# 高斯喷溅2年前02580
Google 发布最新开放大语言模型 Gemma 2,现已登陆 Hugging Face HubGoogle 发布了最新的开放大语言模型 Gemma 2,我们非常高兴与 Google 合作,确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型(2 个...AI 技术文章# Gemma 21年前02520
微调 Florence-2 – 微软的尖端视觉语言模型Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力,因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。 Floren...AI 技术文章# Florence2# 微调# 视觉语言模型1年前02480
将强化学习重新引入 RLHF我们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器。作为一种替代 PPO 的方法,RLOO 是一种新的在线 RLHF 训练算法,旨在使其更易于访问和实施...AI 技术文章# RLHF# 强化学习2年前02480
Cosmopedia: 如何为预训练构建大规模合成数据集本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案,由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题,其题中之...AI 技术文章# Cosmopedia# 数据集1年前02470