「小白学习Hermes配置本地部署大模型」如何用Ollama本地部署开源大模型｜如何让Hermes配置本地模型

共计 1374 个字符，预计需要花费 4 分钟才能阅读完成。

目录

• 🥔前言
• 🍔准备条件
• 🥟 终端一：启动大模型引擎 (Ollama)
• 🧇 终端二：运行 Hermes 终端版 (CLI ) 并连接本地
• 🍙页面展示

🥔前言

目前市面上使用大模型有两种方式，一种是消耗大模型 相对应的额度（消耗Token），另一种是跑本地模型，就是用自己电脑的配置去跑模型。如果条件允许（电脑配置很ok，显存大）的情况下，可以直接用自己电脑去跑跑本地模型。

🍔准备条件

Hermes目前只支持Linux，只能在mac和linux上安装。
下载安装Ollama。
Ollama已经下载你想使用的大模型。
Ollama有两种安装方式，一种是终端代码安装，第二种是直接下载dmg或exe文件，个人推荐选择第二种方式，有UI界面使用起来会更方便一些。

Ollama （对应系统直接点击就能下载）：

Windows用户点击：https://ollama.com/download/OllamaSetup.exe

Mac用户点击：https://ollama.com/download/Ollama.dmg

Ollama终端下载地址（将对应系统的代码直接复制粘贴到终端里）：

Mac用户：curl -fsSL https://ollama.com/install.sh | sh

Linux用户：curl -fsSL https://ollama.com/install.sh | sh

Windows用户：irm https://ollama.com/install.ps1 | iex

下载完Ollama之后，直接在右下角可以下载你想使用的大模型。我这边以gemma4为例，可以根据自己的电脑配置去选择合适的大模型。

🥟 终端一：启动大模型引擎 (Ollama)

这是最关键的一步，必须先让你的本地模型跑起来并准备好接收对话。

打开第一个终端窗口。输入之前你验证过完全成功的命令，启动 Ollama 的后台 API 服务，并允许跨域请求（这样 Hermes 才能连上它）：

OLLAMA_ORIGINS="*" ollama serve

保持这个终端窗口打开，不要关闭它。 只要它在运行，你的本地大模型服务就是开启状态。

🧇 终端二：运行 Hermes 终端版 (CLI ) 并连接本地

新开一个终端窗口。输入hermes model 回车。

当终端里出现那个 Select  provider:（选择提供商）的菜单时，不要选默认的 Ollama Cloud。使用键盘上的 向下方向键 (↓)，一直往下滚动。找到并停留在这一行：

(○) Local (127.0.0.1:网关) (127.0.0.1:网关/v1) —选项会显示你所下载对应的模型名称

按下键盘上的 空格键 (SPACE) 选中它。接下来它会让你选择你想使用的已经在ollama下载了的大模型，我这里选择gemma4:latest(current)。

当界面显示：

✅ Model set to: gemma4:latest
Provider: Local (127.0.0.1:11434) (http://127.0.0.1:11434/v1)
mac@macbookair ~ % 

恭喜🎉🎉，配置完成！接下来我们输入Hermes启动的指令，来测试下我们本地部署的大模型。输入hermes或者hermes chat ，回车。

hermes

🍙页面展示

到这一步，我们的模型已经接通了，可以直接用hermes跑本地大模型。试试发个消息与其对话吧！