Obsidian本地AI助手:Ollama安装与使用体验
最近有朋友问到 Ollama 的具体用法,借这个机会整理一份使用指南,顺便聊聊近期与大模型互动时发现的有趣现象——尤其是那种“一本正经胡说八道”的能力,真是让人哭笑不得。 安装 Ollama 主程序。下载安装包时,国内网络访问官方服务器可能会稍慢。如果本地网络不理想,可以尝试从网盘获取——不过更推荐
最近有朋友问到 Ollama 的具体用法,借这个机会整理一份使用指南,顺便聊聊近期与大模型互动时发现的有趣现象——尤其是那种“一本正经胡说八道”的能力,真是让人哭笑不得。

安装 Ollama 主程序。下载安装包时,国内网络访问官方服务器可能会稍慢。如果本地网络不理想,可以尝试从网盘获取——不过更推荐走官方渠道,确保版本及时更新。安装过程本身非常常规,Windows 和 Mac 都有对应版本。
模型下载。这一步反而比想象中顺利,直接通过
ollama pull <模型名称>或ollama run <模型名称>,下载速度相当可观。即使偶尔遇到“服务器响应超时”的提示,重试几次通常就能成功。目前我常用的两个模型:llama2:7b用于大语言对话,nomic-embed-text负责解析笔记内容——它们分工明确。Windows 下的 GPU 调用。Ollama 的 Windows 版本默认就会启用 GPU,无需额外配置。想了解具体细节,可以查阅官方博客中的 Windows 预览说明。
基本命令。在终端中输入
ollama并回车,即可查看所有可用子命令。常用的几个:ollama serve—— 启动后台服务ollama list—— 列出已下载的模型(这些模型默认存储在C:\Users\%username%\.ollama\models中)ollama run <模型名称>—— 在终端中运行指定模型ollama rm <模型名称>—— 删除不需要的模型
最近在使用过程中,有几个发现值得记录,或许会影响未来的笔记习惯。
关于“胡编乱造”。大模型编造内容的能力依然很强。一旦发现回答开始脱离上下文,最直接的办法就是开启新对话——虽然粗暴,但确实有效。
精简笔记 vs 提供更多上下文。过去记笔记总习惯省略、追求速度。比如下面这个例子:人一眼就能看出“Training”相关内容存在 I 盘,但把这一页笔记丢给 Llama2 后,它无法回答“Training 相关的内容在哪”。可能是模型规模太小,也可能是笔记信息量不足。但换个角度想,既然大模型理解速度远超人类,那为它提供更完整的信息会不会反而更好?当然,这又可能撞上 Token 限制,而且笔记本身也不能太啰嗦——平衡点需要自己把握。
可能的优化方向。提升问答准确性需要一点工程思维。最近在体验字节的扣子(Coze),里面有个工作流功能挺有意思——先用传统编程逻辑处理一些信息(比如筛选出所有带“#渲染”标签的文章),再把这些预处理后的内容交给大模型总结。效果比一股脑把所有笔记扔给 LLM 要好很多。Obsidian Copilot 已经用 LangChain 做了一定优化,或许还可以挖掘更深层的组合。另外 Coze 的工作流是低代码形式,低代码确实便捷。前两天看到一篇文章说“ComfyUI for everything”,ComfyUI、Obsidian 和 LLM 的组合想想就觉得可行,哈哈。
希望这些内容能给你一些启发,欢迎随时交流~

