Ollama与vLLM部署对比：哪个更合适？

[!quote] 背景
近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。

一、基础知识解析

在深入探讨之前，我们先来了解一下这两个框架的核心功能。

1. 什么是VLLM？

VLLM（超大型语言模型）是SKYPILOT开发的推理优化框架，主要用于提升大语言模型在GPU上的运行效率。它的优势体现在以下几个方面：

• 快速令牌生成：采用连续批处理技术，让令牌生成速度大幅提升。
• 高效内存利用：借助PagedAttention技术，在处理大上下文窗口时，能有效控制GPU内存消耗。
• 无缝集成：与PyTorch、TensorFlow等主流深度学习平台兼容，可轻松融入AI工作流程。
  

VLLM深受AI研究人员和需要大规模高性能推理的企业青睐。

2. 什么是奥拉玛（Ollama）？

Ollama是一个本地大语言模型运行时环境，能简化开源AI模型的部署和使用流程。它具备以下特点：

• 预打包模型丰富：内置了LLaMA、Mistral、Falcon等多种模型。
• 硬件适配性强：针对日常使用的硬件进行了CPU和GPU推理优化，无论是MacBook、PC还是边缘设备，都能流畅运行AI模型。
• 操作便捷：提供简洁的API和命令行界面（CLI），开发人员只需简单配置，就能快速启动大语言模型。

对于想在个人电脑上尝试AI模laoxiongb2c型的开发人员和AI爱好者来说，Ollama是个不错的选择。

二、性能大比拼：速度、内存与可扩展性

性能是衡量推理框架优劣的关键指标，下面我们从速度、内存效率和可扩展性三个方面，对VLLM和Ollama进行对比。

1. 关键性能指标分析

VLLM借助PagedAttention技术，在推理速度上优势明显，处理大上下文窗口时也能游刃有余。这让它成为聊天机器人、搜索引擎、AI写作辅助工具等高性能AI应用的首选。

Ollama的速度也还不错，但受限于本地硬件配置。在MacBook、PC和边缘设备上运行小型模型时表现良好，不过遇到超大模型就有些力不从心了。

结论：Ollama更适合初学者，而需要深度定制的开发人员则可以选择VLLM。

三、应用场景：VLLM和Ollama分别适用于哪些场景？

1. VLLM的最佳应用场景

• 企业AI应用：如客户服务聊天机器人、AI驱动的搜索引擎等。
• 云端高端GPU部署：适用于A100、H100、RTX 4090等高端GPU的云端大语言模型部署。
• 模型微调与定制：方便进行模型微调和运行自定义模型。
• 大上下文窗口需求：适用于对上下文窗口要求较高的应用。

不太适用的场景：个人笔记本电脑、日常AI实验。

2. Ollama的最佳应用场景

• 本地设备运行：无需借助云资源，就能在Mac、Windows或Linux系统的设备上运行大语言模型。
• 本地模型试验：不需要复杂的设置，就能在本地轻松试验各种模型。
• 简易API集成：开发人员可以bobyai通过简单的API将AI功能集成到应用程序中。
• 边缘计算应用：在边缘计算场景中表现出色。

不太适用的场景：大规模AI部署、高强度GPU计算任务。

总结：VLLM更适合AI工程师，而Ollama则是开发人员和AI爱好者的好帮手。

四、如何上手使用？（分步指南）

1. VLLM入门教程

1. 安装依赖项：在命令行中输入pip install vllm，按提示完成安装。
2. 在LLaMA模型上运行推理：在Python环境中，输入以下代码：

   “`yaml
   from vllm import LLM
   llm = LLM(model=”meta-llama/Llama-2-7b”)
   output = llm.generate(“What is VLLM?”)

    上述代码中，首先从`vllm`库中导入`LLM`类，然后创建`LLM`对象，并指定使用`meta-llama/Llama-2-7b`模型。最后，使用`generate`方法输入问题“What is VLLM?”，就能得到模型的输出结果。


### 2. Ollama入门教程

1. **安装Ollama（Mac/Linux系统）**：在终端中输入`brebobyaiw install ollama`，等待安装完成。
2. **下载并运行模型**：在终端输入`ollama run mistral`，即可下载并运行Mistral模型。
3. **调用Ollama的API**：在Python环境中，使用以下代码调用API：
    ```yaml
    import requests
    response = requests.post("http://localhost:11434/api/generate", json={"model": "mistral", "prompt": "Tell me a joke"})
    print(response.json())

上述代码中，首先导入`requests`库，然后使用`requests.post`方法向本地的Ollama API发送请求，请求地址为`http://localhost:11434/api/generate`，并在请求中指定使用的模型为`mistral`，输入的提示内容为“Tell me a joke”。最后，打印API返回的结果。

总结：Ollama安装更简单，而VLLM的定制性更强。

五、同系列

[[DeepSeek 从入门到精通 —— Debian12 本地部署]]