设计位置编码

设计位置编码

Gall 定律 \ 一个有效的复杂系统通常是从一个有效的简单系统演化而来的 \ —— John Gall 本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码...
1年前
01440
介绍 GGUF-my-LoRA

介绍 GGUF-my-LoRA

随着 llama.cpp 对 LoRA 支持的重构,现在可以将任意 PEFT LoRA 适配器转换为 GGUF,并与 GGUF 基础模型一起加载运行。 为简化流程,我们新增了一个名为 GGUF-my...
1年前
01750