在英特尔 Gaudi 2 上加速蛋白质语言模型 ProtST引言 蛋白质语言模型 (Protein Language Models, PLM) 已成为蛋白质结构与功能预测及设计的有力工具。在 2023 年国际机器学习会议 (ICML) 上,MILA 和英特尔实...AI 技术文章# Gaudi 2# ProtST# 蛋白质语言模型1年前02220
为视觉语言多模态模型进行偏好优化为视觉语言多模态模型进行偏好优化 训练模型使得它能够理解并预测人类偏好是一项比较复杂的任务。诸如 SFT (Supervised finetuning) 的传统的方法一般都需要耗费较大成本,因为这些算...AI 技术文章# DPO# TRL# VLM1年前02340
微调 Florence-2 – 微软的尖端视觉语言模型Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力,因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。 Floren...AI 技术文章# Florence2# 微调# 视觉语言模型1年前02480
GAIA: 一个严苛的智能体基准简要概括 经过一些实验,我们对 Transformers 智能体构建智能体系统的性能印象深刻,因此我们想看看它有多好!我们使用一个 用库构建的代码智能体 在 GAIA 基准上进行测试,这可以说是最困难...AI 技术文章# Agent# GAIA# 智能体1年前03090
Hugging Face 全球政策负责人首次参加WAIC 2024 前沿 AI 安全和治理论坛Hugging Face 全球政策负责人艾琳-索莱曼 ( Irene Solaiman )将参加7月5日在上海举办的WAIC-前沿人工智能安全和治理论坛,并在现场进行主旨演讲和参加圆桌讨论。具体时间信...AI 活动竞赛# Hugging Face1年前02480
Cosmopedia: 如何为预训练构建大规模合成数据集本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案,由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题,其题中之...AI 技术文章# Cosmopedia# 数据集1年前02470
OpenBMB × Hugging Face × THUNLP,联袂献上经典大模型课这个夏天,THUNLP 携手 Hugging Face 和 OpenBMB,推出 大模型公开课第二季。在大模型公开课第二季中,将有全球知名开源社区 OpenBMB X Hugging Face 梦幻联...AI 活动竞赛# Hugging Face# OpenBMB# THUNLP1年前02470
BigCodeBench: 继 HumanEval 之后的新一代代码生成测试基准HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准,因为它使得对紧凑的函数级代码片段的评估变得容易。然而,关于其在评估 LLM 编程能力方面的有效性越来越多的担忧...AI 技术文章# BigCodeBench# HumanEval1年前02610
Google 发布最新开放大语言模型 Gemma 2,现已登陆 Hugging Face HubGoogle 发布了最新的开放大语言模型 Gemma 2,我们非常高兴与 Google 合作,确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型(2 个...AI 技术文章# Gemma 21年前02520
Hugging Face Accelerate 两个后端的故事:FSDP 与 DeepSpeed社区中有两个流行的 零冗余优化器(Zero Redundancy Optimizer,ZeRO) 算法实现,一个来自 DeepSpeed,另一个来自 PyTorch。Hugging Face Acce...AI 技术文章# DeepSpeed# FDSP1年前02750