01
概述
vLLM 是由 UC Berkeley 开发的高性能 LLM 推理引擎。其核心创新是 PagedAttention,一种受操作系统虚拟内存启发的注意力机制,显著减少 KV cache 内存浪费。vLLM 的吞吐量比 Hugging Face Transformers 高 14-24 倍,比 Text Generation Inference(TGI)高 2-4 倍。它支持连续批处理、张量并行、流式输出等。vLLM 是生产环境部署 LLM 的首选方案。
bash
<button aria-label="Close">x</button>
<nav aria-label="Main">...</nav>
<input aria-describedby="help" />02
安装
vLLM 需要 NVIDIA GPU(CUDA 11.8+)和 Python 3.8+。推荐通过 pip 安装。也支持 Docker 部署。安装过程中依赖会自动处理。