LLM Vision 是什么?
LLM Vision 是 Home Assistant 的自定义集成,把摄像头、图像实体、视频文件和 Frigate 事件中的图像交给多模态语言模型处理。 官网称其为“Visual Intelligence for your Home”,GitHub 仓库创建于 2024 年 5 月 14 日。
它是现有智能家居的附加组件,而不是独立应用:你需要一个运行中的 Home Assistant、社区商店 HACS 和一个 AI 提供方。开发者是官网版权行中署名的 Valentin Fröhlich;仓库还列出 GitHub 上的另一位代码所有者。
获取方式
LLM Vision 通过 Home Assistant 内的 HACS 安装;没有单独的下载包、商店应用或安装程序。
选项 | 获取方式 |
|---|---|
| 安装 | GitHub 上的 LLM Vision,通过 HACS 添加,然后重启 Home Assistant |
| 设置 | 在“设备与服务”中添加,准备好存放快照的 /media 文件夹,再添加 AI 提供方 |
| 本地提供方 | 自有硬件上的 Ollama、Open WebUI 或 LocalAI |
| 云端提供方 | OpenAI、Anthropic、Google、OpenRouter、AWS、Groq 或 Azure AI,由提供方按查询计费 |
| 价格 | 集成免费;可通过 Buy Me a Coffee 自愿捐赠 |
| 文档 | 入门指南 |
| 官网 | llmvision.org |
| 隐私政策 | GitHub 上的 PRIVACY.md |
| 源代码 | GitHub 上的 Apache-2.0 许可 |
核查的版本:1.7.2(2026 年 9 月 3 日,GitHub)。仓库中的集成清单仍写 1.7.1,官网写 v1.7.0,二者都落后于正式发布。仓库没有给出 Home Assistant 的最低版本,使用 Home Assistant Container 的用户可能需要挂载 /media 文件夹。
如何开始
以下步骤依据开发者的 README,PromptQuorum 没有实际执行。
- 1安装集成
Why it matters: 通过 HACS 安装 LLM Vision,然后重启 Home Assistant。 - 2添加到 Home Assistant
Why it matters: 在“设备与服务”中搜索 LLM Vision,并使用默认设置提交。 - 3准备媒体文件夹
Why it matters: 快照存放在 /media;使用 Home Assistant Container 的用户可能需要挂载它。 - 4添加 AI 提供方
Why it matters: 回到集成页面,为你的提供方添加条目,例如自己服务器上的 Ollama 或云端 API 密钥。
资料证实的功能
以下每一项都来自开发者的官网或仓库,均未经独立测试。
- 四个操作。 Images 分析摄像头、图像实体或文件;Videos 从视频文件或 Frigate 事件中提取帧;Streams 从摄像头实体抓取帧;Data 分析图像并更新数字、文本、选择或布尔辅助实体。
- 通知。 摄像头画面和 Frigate 事件近乎实时地被分析,结果可用于通知和自动化。
- 时间线与记忆。 只有开启“remember”才会保存事件;开启“important”后,事件会被分类,只保留被判定为重要的,并显示为日历实体。记住事件需要 Extended OpenAI Conversation 之类的对话代理。
- 图像管线。 官网称它会挑选相关帧并为推理优化,降采样器则降低分辨率和 token 消耗。
- Glimpse-v1。 开发者自己的 40 亿参数开源视觉语言模型,用于总结家庭安防事件,处于测试阶段,可在 Hugging Face 和 Ollama 库获取(
ollama run llmvision/glimpse-v1)。 - 语言。 英语、德语、荷兰语、法语、西班牙语、葡萄牙语、意大利语、波兰语和瑞典语,后续还会增加。
数据流向与隐私
集成只会把图像发送给你配置的提供方,所以图像去向完全取决于这一选择。 使用自有硬件上的 Ollama、Open WebUI 或 LocalAI 时,分析留在你手里;使用 OpenAI、Anthropic、Google、OpenRouter、AWS、Groq 或 Azure AI 时,画面帧会发往该公司的服务器,并适用其条款。
隐私文件(2026 年 2 月 15 日生效)称,Home Assistant 集成不含遥测:开发者不会收到使用数据,看不到你配置了哪些提供方,也无法访问你的 Home Assistant 数据。无需账户,只有官网使用 Google Analytics。官网补充说,已分析的事件不会离开你的 Home Assistant 实例,而集成清单将其归类为 cloud polling。
📌注: 这些是开发者的声明,不是审计结果,PromptQuorum 也没有检查网络流量。官网关于事件的说法指的是已保存的事件,而不是对提供方的调用。
适合谁用
- 有摄像头的 Home Assistant 用户:希望在通知里看到门铃或车道事件的文字描述。
- Frigate 用户:希望事件被总结,并能在时间线中检索。
- 运行 Ollama、Open WebUI 或 LocalAI 的用户:希望在自己的硬件上分析画面帧。
我们无法核实的内容
- 性能。 检测准确度、延迟、硬件需求和每次查询的费用均未测试,官网也没有给出硬件要求。
- 完全本地运行。 官网和 README 都没有说明端到端的本地配置;它们把 Ollama、Open WebUI 和 LocalAI 列为提供方,并建议隐私要求最高时使用本地提供方。
- Home Assistant 版本。 仓库没有给出最低版本。
- Glimpse-v1 的许可证。 官网没有说明该模型的许可证,也没有给出硬件数据。
竞品与替代方案
Home Assistant Assist
- 平台:
- Linux、网页、iPhone、Android
- 价格 / 许可证:
- 免费 / Apache-2.0
- 主要区别:
- 内置语音助手;通过 Ollama 或 OpenAI 使用 LLM 代理
关于Home Assistant Assist的文章(1篇)
Ollama
- 平台:
- Mac、Windows、Linux
- 价格 / 许可证:
- 免费 / MIT
- 主要区别:
- 本地模型运行器,LLM Vision 可将其用作提供方
关于Ollama的文章(10篇)
- Ollama Review: The One-Command Local LLM Runtime更新于 2026年9月12日
- Apple Silicon for Local LLMs 2026: M1 to M6 Complete Guide更新于 2026年11月6日
- Apple Silicon for Local LLM 2026: M5 Pro vs M5 Max vs Mac Studio Compared更新于 2026年11月6日
- Best Local LLMs in 2026: Qwen3.8-27B, Gemma 4, and Phi-4-mini Ranked更新于 2026年11月6日
- Best Local LLMs for Coding 2026: Qwen3.8 27B, Devstral, Laguna更新于 2026年11月6日
- LLM Quantization Explained: Q4_K_M vs Q4_0 vs Q8_0 (2026)更新于 2026年11月6日
- LobeChat vs Big-AGI vs NextChat vs Page Assist vs Chatbox: 2026 Comparison更新于 2026年11月6日
- Local LLM Hardware: GPU vs Mini PC vs Mac Compared更新于 2026年11月6日
- NextChat Review 2026: Lightweight, One-Click-Deploy Chat UI更新于 2026年11月6日
- Ollama on Mac 2026: Complete Apple Silicon Setup Guide (M1–M5, Metal GPU)更新于 2026年11月6日
另有333篇未显示
选择之前,请到各应用自己的页面确认当前的价格、许可证和平台。
常见问题
可以使用列表之外的提供方吗?
官网称,带有 OpenAI 兼容 API 端点的提供方也可以使用,可能需要额外配置。
有付费版或订阅吗?
没有列出;官网只有一个自愿的 Buy Me a Coffee 捐赠链接,集成本身免费。
在哪里获得帮助或报告 bug?
官网链接了 GitHub Discussions、Discord 服务器和 Home Assistant 社区帖子,并列出 hello@llmvision.org 作为联系方式。“Report a bug”链接指向独立的仪表板卡片仓库,而不是主仓库。
结论
LLM Vision 通过你选择的视觉模型,把 Home Assistant 的摄像头图像、视频和 Frigate 事件转成文字,采用 Apache-2.0 许可免费使用,仓库在 2026 年 9 月 17 日有更新。但它不自带模型,云端提供方会收到你的画面帧,没有给出 Home Assistant 最低版本或硬件要求,准确度和速度也未经测试。它适合能自己运行 Ollama、Open WebUI 或 LocalAI 的 Home Assistant 用户;如果要把画面帧发给云端提供方,请先阅读该提供方的条款。
资料来源
- LLM Vision 官网 — 功能、提供方、隐私和安装说明,核查日期 2026 年 11 月 1 日。
- Glimpse-v1 页面 — 模型说明和可用性,核查日期 2026 年 11 月 1 日。
- GitHub 上的 LLM Vision — README、许可证、清单和提交记录,核查日期 2026 年 11 月 1 日。
- GitHub 发布 v1.7.2 — 2026 年 9 月 3 日的发布,核查日期 2026 年 11 月 1 日。
- 隐私政策 — 遥测和数据处理,2026 年 2 月 15 日生效,核查日期 2026 年 11 月 1 日。
