Skip to content

vLLM

Web Development

一个高性能的 LLM 推理和服务引擎,提供极致的推理速度。

Official Site
01

概述

vLLM 是由 UC Berkeley 开发的高性能 LLM 推理引擎。其核心创新是 PagedAttention,一种受操作系统虚拟内存启发的注意力机制,显著减少 KV cache 内存浪费。vLLM 的吞吐量比 Hugging Face Transformers 高 14-24 倍,比 Text Generation Inference(TGI)高 2-4 倍。它支持连续批处理、张量并行、流式输出等。vLLM 是生产环境部署 LLM 的首选方案。

bash
localStorage.setItem("k","v");
const v=localStorage.getItem("k");
const obj=JSON.parse(localStorage.getItem("data"));
02

安装

vLLM 需要 NVIDIA GPU(CUDA 11.8+)和 Python 3.8+。推荐通过 pip 安装。也支持 Docker 部署。安装过程中依赖会自动处理。

Ready to try vLLM?

Visit the official site for the latest version and full documentation.

Visit vLLM