使用 Hugging Face 微调 Gemma 模型我们最近宣布了,来自 Google Deepmind 开放权重的语言模型 Gemma现已通过 Hugging Face 面向更广泛的开源社区开放。该模型提供了两个规模的版本:20 亿和 70 亿参数...AI 技术文章# Cloud TPU# Colab# DeepMind3年前06450
如何使用 Megatron-LM 训练语言模型在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上,并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创...AI 技术文章# Hugging Face# LLM# Train3年前05800
背景 | 基于 Transformers 的编码器 – 解码器模型!pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 Vaswani 等人在其名作 Attention is all ...AI 技术文章# Hugging Face# Transformers3年前05730
编码器 – 解码器 | 基于 Transformers 的编码器 – 解码器模型基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史,更多背景知识,建议读者阅读由 Sebastion...AI 技术文章# Hugging Face# Transformers3年前05460
越小越好: Q8-Chat,在英特尔至强 CPU 上体验高效的生成式 AI大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 transformer 架构,LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 多种任务类型 上...AI 技术文章# Chat# Hugging Face3年前05420
RWKV – transformer 与 RNN 的强强联合在 NLP (Natural Language Processing, 自然语言处理) 领域,ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用,也都在持续地寻求强大、可...AI 技术文章# Hugging Face# RNN# Transformers3年前05400
辅助生成:低延迟文本生成的新方向大型语言模型如今风靡一时,许多公司投入大量资源来扩展它们规模并解锁新功能。然而,作为注意力持续时间不断缩短的人类,我们并不喜欢大模型缓慢的响应时间。由于延迟对于良好的用户体验至关重要,人们通常使用较小...AI 技术文章# GPT# Hugging Face# Transformers3年前05350
最新 Hugging Face 强化学习课程(中文版)来啦!人工智能中最引人入胜的话题莫过于深度强化学习 (Deep Reinforcement Learning) 了,我们在 2022 年 12 月 5 日开启了《深度强化学习课程 v2.0》的课程学习,有来...AI 技术文章# Hugging Face# 强化学习# 深度强化学习3年前05331
【使用 Gradio 创建聊天机器人】Create Your Own Gradio Component – Part 1介绍 Gradio 4.0 的更新,Gradio 组件更加可定制和可扩展。本视频将通过 Live coding 的方式创建自定义 Gradio 组件的,演示创建一个多模态聊天机器人组件的过程——该组件...AI 技术文章AI 视频教程# ChatBot# Gradio# Hugging Face3年前05190
【Hugging Face CEO 4大新年预测】2024年将是人工智能丰收年来自CEO的新年祝福 ❤️ 附加了他对于2024年人工智能界的四大预测 👀 你觉得2024年人工智能和机器学习界会是什么样的呢? 欢迎留言👏AI 新闻资讯# Hugging Face3年前15110