使用 Optimum-Intel 和 OpenVINO GenAI 优化和部署模型在端侧部署 Transformer 模型需要仔细考虑性能和兼容性。Python 虽然功能强大,但对于部署来说有时并不算理想,特别是在由 C++ 主导的环境中。这篇博客将指导您如何使用 Optimum...AI 技术文章# OpenVINO GenAI# Optimum Intel2年前02270
NuminaMath 是如何荣膺首届 AIMO 进步奖的?今年,Numina 和 Hugging Face 合作角逐 AI 数学奥林匹克 (AI Math Olympiad,AIMO) 的首届进步奖。此次比赛旨在对开放 LLM 进行微调,以使其能解决高中难度...AI 技术文章# AIMO# NuminaMath2年前02230
让 LLM 来评判 | 选择 LLM 评估模型基础概念 这是 让 LLM 来评判 系列文章的第一篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是评估模...AI 技术文章# LLM# 评估模型2年前02220
揭秘 FineVideo 数据集构建的背后的秘密开放视频数据集稀缺,因此减缓了开源视频 AI 的发展。为此,我们构建了 FineVideo,这是一个包含 43,000 个视频的数据集,总时长为 3,400 小时,并带有丰富的描述、叙事细节、场景分割...AI 技术文章# Datasets# FineVideo# 数据集2年前02210
为数据集而生的 SQL 控制台随着数据集的使用量急剧增加,Hugging Face 社区已经变成了众多数据集默认存放的仓库。每月,海量数据集被上传到社区,这些数据集亟需有效的查询、过滤和发现。 每个月在 Hugging Face ...AI 技术文章# SQL# 数据集2年前02200
LAVE: 使用 LLM 对 Docmatix 进行零样本 VQA 评估 – 我们还需要微调吗?在开发 Docmatix 时,我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色,但在基准测试中得分仍比较低。为了提高基准测试得分,我们必须在 DocVQA 数据集上进一步对模...AI 技术文章# Docmatix# LAVE# LLM2年前02180
Docmatix – 超大文档视觉问答数据集本文,我们将发布 Docmatix - 一个超大的文档视觉问答 (DocVQA) 数据集,比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时,消融实验显示 DocV...AI 技术文章# Docmatix2年前02160
基于开放模型的推理时计算缩放过去几年,大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效,但预训练更大模型所需的资源变得异常昂贵,数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴...AI 技术文章2年前02140
TGI 多-LoRA: 部署一次,搞定 30 个模型的推理服务你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本? 那么, 如果你可以部署一次就搞定 30 个模型推理服务会如何? 在当今的 ML 世界中,哪些希望充分发挥其数据的价值的组织可能最终会进入一个...AI 技术文章# LoRA# TGI2年前02140
Google 最新发布: Gemma 2 2B、ShieldGemma 和 Gemma Scope在发布 Gemma 2 一个月后,Google 扩展了其 Gemma 模型系列,新增了以下几款: Gemma 2 2B - 这是 Gemma 2 的 2.6B 参数版本,是设备端使用的理想选择。 Sh...AI 技术文章# Gemma 2# Gemma Scope# ShieldGemma2年前02130