介绍 GGUF-my-LoRA随着 llama.cpp 对 LoRA 支持的重构,现在可以将任意 PEFT LoRA 适配器转换为 GGUF,并与 GGUF 基础模型一起加载运行。 为简化流程,我们新增了一个名为 GGUF-my...AI 技术文章# GGUF# LoRA# PEFT1年前01750
自动评估基准 | 技巧与提示技巧与提示 这是 自动评估基准 系列文章的第四篇,敬请关注系列文章: 基础概念 设计你的自动评估任务 一些评估测试集 技巧与提示 数据污染管理 通常我们会假设在互联网上公开可用的数据集是存在数据污染问...AI 技术文章# 自动评估12个月前01720
人工评估 | 人工标注员人工标注员 这是 人工评估 系列文章的第二篇《人工标注员》,全系列包括: 基础概念 人工标注员 技巧与提示 推荐阅读 这篇综述 的第三章,介绍了许多数据标注质量管理的实践经验。如果你追求的是生产级的质...AI 技术文章# 人工标注# 标注1年前01520
设计位置编码Gall 定律 \ 一个有效的复杂系统通常是从一个有效的简单系统演化而来的 \ —— John Gall 本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码...AI 技术文章# RoPE1年前01440
AI 艺术工具通讯创刊号 🎉 AI 领域的发展速度令人惊叹,回想一年前我们还在为生成正确手指数量的人像而苦苦挣扎的场景,恍如隔世 😂。 过去两年对开源模型和艺术创作工具而言具有里程碑意义。创意表达的 AI 工具从未像现...AI 技术周刊AI 技术文章# AI Weekly# AI 艺术# AI 艺术工具通讯10个月前01380
让 LLM 来评判 | 设计你自己的评估 prompt设计你自己的评估 prompt 这是 让 LLM 来评判 系列文章的第三篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技...AI 技术文章# LLM# prompt10个月前01370
LayerSkip: 使用自推测解码加速大模型推理自推测解码是一种新颖的文本生成方法,它结合了推测解码 (Speculative Decoding) 的优势和大语言模型 (LLM) 的提前退出 (Early Exit) 机制。该方法出自论文 Laye...AI 技术文章# LaySkip# 大模型推理# 解码9个月前01270
在 Hugging Face 上部署语音转语音模型介绍 S2S (语音到语音) 是 Hugging Face 社区内存在的一个令人兴奋的新项目,它结合了多种先进的模型,创造出几乎天衣无缝的体验: 你输入语音,系统会用合成的声音进行回复。 该项目利用 ...AI 技术文章# Hugging Face# 语音转语音# 部署模型9个月前01250
让 LLM 来评判 | 奖励模型相关内容奖励模型相关内容 这是 让 LLM 来评判 系列文章的第五篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么...AI 技术文章# LLM10个月前01250
让 LLM 来评判 | 评估你的评估结果评估你的评估结果 这是 让 LLM 来评判 系列文章的第三篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 在生...AI 技术文章# LLM10个月前01200