5分钟在MAC下本地搭建大模型，MAC下快速本地搭建大模型的教程

在MAC操作系统下，只需5分钟，即可本地搭建大型机器学习模型。通过简单的步骤，包括安装必要的软件、配置环境以及导入模型库，用户可以轻松在本地机器上运行大型模型。这一过程的优化，大大缩短了模型搭建的时间成本，为机器学习和数据分析爱好者提供了便利。

Ollama是一个简洁易用的本地大模型运行框架，随着其生态的兴起，越来越多的用户能够在自己的电脑上轻松体验大模型的魅力。

（图片来源网络，侵删）

Ollama的目标是为开发者提供一个在本地运行、创建和共享大型语言模型的平台，尽管目前Ollama还处于早期预览阶段，但它已经具备了一些核心功能，它支持运行和与Llama 2模型进行对话，这是Meta新推出的模型，Ollama还提供了一个模型库，让开发者可以便捷地下载和使用各种开源模型，Ollama还引入了一种名为Modelfile的文件格式，开发者可以使用它来定义和创建自定义模型。

如何在macOS上下载Ollama

（图片来源网络，侵删）

1.1 运行一个离线大模型

以中文表现优秀的阿里qwen-7b大模型为例，你可以在terminal里输入以下命令来运行：

ollama run qwen:7b

你也可以去模型库探索其他的开源大模型，通过这个框架，你可以在terminal里直接和大模型对话，满足基本的需求。

二、部署Open WebUI

Open WebUI是一个可扩展、功能丰富且用户友好的自托管WebUI，旨在完全离线操作，它支持各种LLM运行程序，包括Ollama和OpenAI兼容的API。

2.1 创建虚拟环境

为了隔离本地的python环境，我们创建一个名为“ollama”的虚拟环境。

conda create -n ollama python=3.11
conda activate ollama

2.2 构建并安装Open WebUI

首先从GitHub克隆Open WebUI的仓库：

git clone https://github.com/open-webui/open-webui.git
cd open-webui/

复制必要的.env文件并构建前端：

cp -RPp .env.example .env
npm i
npm run build

然后在后端目录安装依赖并启动服务：

cd ./backend
pip install -r requirements.txt -U
uvicorn main:app --host 0.0.0.0 --port 8899

2.3 访问WebUI

通过指定的端口访问Open WebUI，你会看到一个与ChatGPT极其相似的界面，操作流畅，体验极佳。