Ollama 本地部署大模型入门指南

发表于 分类于 本文字数： 502 阅读时长 ≈ 2 分钟

Ollama 本地部署大模型入门指南

在本地运行大语言模型变得越来越简单，Ollama 提供了极其便捷的方式，让你无需复杂配置即可使用 LLM。本文简要介绍如何在本地通过 Ollama 部署并使用大模型，为后续构建 AI 工具打下基础。

一、什么是 Ollama？

Ollama 是一个支持本地运行大语言模型的工具，特点是：

  • 快速部署（下载即用）
  • 支持多种模型（如 LLaMA, Gemma, Mistral, Phi 等）
  • 无需 GPU（也可使用 CPU 运行）
  • 支持 REST API 调用，适合后端系统集成

二、安装 Ollama

前往官网下载安装：https://ollama.com

macOS / Linux / Windows（WSL）

1
curl -fsSL https://ollama.com/install.sh | sh

安装完成后，使用以下命令验证是否成功：

1
2
3
4
5
bash


复制编辑
ollama --version

三、拉取模型

例如拉取 Google 发布的 Gemma 3 1B 模型：

1
2
3
4
5
bash


复制编辑
ollama pull gemma:1b

也可使用其它模型，例如：

1
2
bash复制编辑ollama pull llama3
ollama pull mistral

四、运行模型

启动模型：

1
2
3
4
5
bash


复制编辑
ollama run gemma:1b

模型启动后即可进行交互问答，体验效果。

五、作为 API 服务运行

后台运行并提供 HTTP 接口：

1
2
3
4
5
bash


复制编辑
ollama serve

测试 API：

1
2
3
4
bash复制编辑curl http://localhost:11434/api/generate -d '{
  "model": "gemma:1b",
  "prompt": "Translate this sentence to Chinese: Hello, world!"
}'

返回结果将包含模型生成的内容。

六、与应用集成

你可以通过 HTTP 调用将 Ollama 接入 Java、Python、前端等各种应用。我的翻译工具项目（translate-tool）就是通过 Spring Boot 调用本地部署的 Gemma 模型，构建了一个轻量的 AI 翻译助手。

总结

Ollama 是一个极其轻量易用的本地大模型部署工具，适合开发者快速上手并进行本地 AI 应用开发。如果你打算构建自己的 AI 工具，比如聊天助手、翻译工具、智能问答等，Ollama 是一个非常值得尝试的平台。