从本机到 Docker 部署 Ollama:过程与问题记录

引言Ollama 是一个功能强大的本地推理模型运行框架,支持快速部署和高效调用各种大语言模型。我最初在 Windows 本机上直接安装并运行 Ollama,加载了 Gemma 3 1B 模型,整个过程非常顺利。然而,在部署 Open WebUI 时,...

技术

BitNet.cpp vs GGUF 模型生态:边缘 AI 的极致尝试与主流之路

微软 BitNet b1.58 模型和它的 bitnet.cpp 推理引擎最近在社区中引起了关注。作为一个可以运行在纯 CPU 上、显著降低内存和计算需求的模型实现,它让我们重新审视:在追求大模型能力的主流路径之外,还有没有另一种“极简 AI”的可...

技术

Ollama 本地部署大模型入门指南

Ollama 本地部署大模型入门指南在本地运行大语言模型变得越来越简单,Ollama 提供了极其便捷的方式,让你无需复杂配置即可使用 LLM。本文简要介绍如何在本地通过 Ollama 部署并使用大模型,为后续构建 AI 工具打下基础。 一、什么是 O...

技术