Lepton AI

Lepton AI 是一个云原生平台，旨在简化 AI 应用的构建和部署过程。它提供了一系列工具，如 WhisperX 语音识别、艺术化二维码生成、幻觉艺术创作等，以及支持多种语言模型的运行。

这个平台的目标是让开发者更容易地完成创建、部署和扩展 AI 任务。其中一些关键特性包括：

1. Pythonic 抽象 Photon：允许你将研究和建模代码转化为一个只需几行代码的服务。
2. 简单的抽象：可以在几行代码内启动像 HuggingFace 上的模型。
3. 预先构建的示例，包括常见模型如 Llama、SDXL、Whisper 等。
4. 针对 AI 的一些特定功能，例如自动批处理、后台作业等。
5. 客户端：可以像使用本地 Python 函数一样自动调用你的服务。
6. Pythonic 配置规范：方便在云环境中部署。

如果你想快速开始，只需一行命令安装库：

pip install -U leptonai

然后，你可以在一行代码内启动一个 HuggingFace 模型，例如：

lep photon run --name gpt2 --model hf:gpt2 --local

AI 生成的代码。仔细查看和使用。 有关常见问题解答的详细信息.

如果你有访问 Llama2 模型（可以在这里申请），并且拥有足够大的 GPU，你可以这样启动它：

lep photon run -n llama2 -m hf:meta-llama/Llama-2-7b-chat-hf --local

你还可以从示例仓库中获取更多示例，例如启动 Stable Diffusion XL 模型：

git clone [email protected]:leptonai/examples.git
cd examples
lep photon run -n sdxl -m advanced/sdxl/sdxl.py --local

一旦服务运行起来，你可以通过以下方式访问它：

from leptonai.client import Client

c = Client(local(port=8080))
print(c.run.__doc__)
print(c.run(inputs="I enjoy walking with my cute dog"))