BitNet.cpp vs GGUF 模型生态:边缘 AI 的极致尝试与主流之路
微软 BitNet b1.58 模型和它的 bitnet.cpp 推理引擎最近在社区中引起了关注。作为一个可以运行在纯 CPU 上、显著降低内存和计算需求的模型实现,它让我们重新审视:在追求大模型能力的主流路径之外,还有没有另一种“极简 AI”的可...
微软 BitNet b1.58 模型和它的 bitnet.cpp 推理引擎最近在社区中引起了关注。作为一个可以运行在纯 CPU 上、显著降低内存和计算需求的模型实现,它让我们重新审视:在追求大模型能力的主流路径之外,还有没有另一种“极简 AI”的可...
Ollama 本地部署大模型入门指南在本地运行大语言模型变得越来越简单,Ollama 提供了极其便捷的方式,让你无需复杂配置即可使用 LLM。本文简要介绍如何在本地通过 Ollama 部署并使用大模型,为后续构建 AI 工具打下基础。 一、什么是 O...