핵심 요점
- 홈 자동화 환각 = 잘못된 기기 작동, 잘못 읽힌 상태, 또는 존재하지 않는 엔티티 참조 — 지어낸 일반적인 사실이 아님
- 주요 해결책: 모델의 함수 호출 스키마를 실제 현재 엔티티 목록으로만 제약
- 모델이 대화 초반의 내용을 가정하거나 기억하게 두는 대신, 현재 센서/기기 상태를 프롬프트에 직접 전달
- 모델 크기보다 엔티티 목록을 좁히는 것이 더 중요합니다. Home Assistant의 Ollama 문서는 작은 모델이 실수할 가능성이 더 높다고 설명하므로, 어떤 모델이든 범위가 좁은 엔티티 목록과 함께 쓰고 도구 호출을 지원하는 모델을 고르세요(소형 언어 모델 가이드 참고)
- 감독 없이 신뢰하기 전에 엣지 케이스(이름이 변경된 엔티티, 오프라인 기기)에 대해 자동화를 테스트
홈 자동화에서 환각이 나타나는 방식
세 가지 흔한 실패 모드는 이름은 비슷하지만 잘못된 기기를 작동시키는 것, 실제가 아닌 가정된 센서 상태에 따라 동작하는 것, 그리고 설정에 전혀 존재하지 않는 엔티티를 참조하는 것입니다.
- 잘못된 기기 작동: 여러 개의 램프가 있는데 "램프"를 끄라고 요청하면, 모델이 명확히 확인하거나 맥락을 올바르게 사용하는 대신 추측을 바탕으로 하나를 선택합니다.
- 가정된 상태: 자동화가 실제 현재 센서 값을 확인하는 대신, 흔한 경우이기 때문에 창문이 닫혀 있다고 가정하고 동작합니다.
- 존재하지 않는 엔티티: 모델이 (학습 데이터에서 흔하기 때문에) 그럴듯하게 들리는 기기 이름을 참조하지만, 실제로는 Home Assistant 인스턴스에 한 번도 설정된 적이 없습니다.
그라운딩: 실제 엔티티로 제약하기
주요 해결책은 모델에게 항상 실제 현재 엔티티 목록만 노출하는 함수 호출 스키마입니다 — 이렇게 하면 실제로 존재하는 기기에 대해서만 함수를 호출할 수 있어 "지어낸 엔티티" 실패 모드를 구조적으로 없앨 수 있습니다.
- 기기를 추가/제거할 때 어긋날 수 있는 수기 작성이거나 오래된 목록 대신, Home Assistant의 실제 현재 엔티티 레지스트리에서 함수 호출 스키마(또는 모델에 전달되는 엔티티 목록)를 동적으로 생성하세요.
- 설정에 모호한 엔티티 이름이 있는 경우(여러 개의 "조명" 엔티티 등), 모델이 정확히 구분해 주기를 기대하는 대신 더 명확하게 구분되도록 이름을 바꾸세요 — 이는 프롬프트가 아닌 구성 차원의 해결책이며 더 신뢰할 수 있습니다.
- Home Assistant-Ollama 통합 가이드는 Ollama를 Home Assistant의 대화 에이전트에 연결하는 실질적인 설정 방법을 다루며, 이 에이전트가 이러한 스키마 생성의 상당 부분을 자동으로 처리합니다.
- Home Assistant에서 모델은 사용자가 노출한 엔티티에만 작동할 수 있습니다(설정 > 음성 어시스턴트 > 노출). 따라서 의도적으로 고른 소수의 엔티티만 노출하면 잘못된 답의 후보가 줄어듭니다. Ollama 연동의 "Home Assistant 제어" 옵션은 실험적 기능으로 문서화되어 있고, 도구를 지원하는 모델이 필요하며, 기본 컨텍스트 창이 8k여서 큰 집은 늘려야 할 수 있습니다.
가정된 상태가 아닌 현재 상태 전달하기
센서 상태에 의존하는 자동화는 이전 대화 턴에 대한 모델의 기억이나 일반적인 상태에 대한 가정에 의존하는 대신, 실행 시점에 실제 현재 값을 조회해야 합니다.
- "창문이 열려 있는가" 또는 "조명이 이미 켜져 있는가"가 결정에 중요한 자동화의 경우, 모델이 대화 전반에 걸쳐 이를 정확히 추적했을 것이라고 신뢰하는 대신, 자동화 로직의 일부로서 해당 상태를 직접 가져오세요.
- 이는 프롬프트 취약성 감소에 대한 일반 원칙(관련 클러스터 간 가이드 참조)을 센서 기반 스마트홈 상태에 특화하여 적용한 것입니다.
- 동작하기 전에 여러 센서 값을 결합하는 것(센서 퓨전) 또한 단일 센서의 오독이 결정에 반영되는 것을 줄일 수 있습니다 — 스마트홈 가이드의 센서 퓨전 부분을 참조하세요.
테스트 및 오류 발견
다른 자동화 로직을 테스트하는 것과 마찬가지로, 감독 없이 실행되도록 신뢰하기 전에 이름이 변경된 엔티티, 일시적으로 오프라인인 기기, 모호한 명령 같은 엣지 케이스에 대해 자동화를 테스트하세요.
- 최근 이름이 변경되었거나 삭제된 엔티티를 참조하는 명령을 의도적으로 테스트하여, 자동화가 이름이 비슷한 기기를 추측하는 대신 안전하게 실패하는지(명확히 확인을 요청하거나 아무 동작도 하지 않는지) 확인하세요.
- 초기 시험 기간 동안 자동화가 트리거한 동작을 기록해 두어, 모델이 실제로 한 일과 의도했던 일을 비교할 수 있도록 하고, 소리 없는 오작동이 일상화되기 전에 발견하세요.
- 새로운 LLM 기반 자동화는 위험도가 낮은 기기(조명)부터 시작한 후, 잘못된 동작이 더 큰 결과를 초래하는 위험도가 높은 기기(잠금장치, 보안 시스템)로 패턴을 확장하세요.
LLM 환각 줄이기: 핵심 목록
LLM 환각을 줄이는 일반 기법 — 실제 데이터에 근거시키기, 출력 제약하기, 실행 전 검증하기, 안전하게 실패하기 — 은 모두 Home Assistant 스마트홈에서 직접 적용할 수 있습니다.
- 실제 데이터에 근거시키기: 스마트홈 버전의 검색은 모델이 학습에서 기억한 내용에 의존하지 않고, 현재 엔티티 목록과 상태를 모델의 컨텍스트에 전달하는 것입니다.
- 출력 제약하기: 도구(함수) 호출을 사용해 모델이 존재하는 엔티티와 서비스에 대한 호출만 반환하도록 하세요. 스크립트가 다시 해석해야 하는 자유 형식 텍스트는 피합니다.
- 노출 범위 줄이기: 제어하려는 엔티티만 노출하세요. Home Assistant는 제어 전에 엔티티를 Assist에 노출하도록 요구하며, Ollama 문서는 실험 단계에서 노출 엔티티를 25개 미만으로 두라고 권장합니다.
- 도구를 호출할 수 있는 모델 고르기: Home Assistant의 Ollama 문서에 따르면 도구를 지원하는 모델만 집을 제어할 수 있으며, 작은 모델은 큰 모델보다 실수할 가능성이 더 높습니다.
- 검증하고 안전하게 실패하기: 실행 전에 대상 엔티티의 상태를 확인하고 실행 후 다시 읽어 보며, 일치 여부가 불확실하면 확인을 요청하거나 아무것도 하지 마세요.
자주 묻는 질문
이는 일반적인 AI 환각 조언과 어떻게 다른가요?
일반적인 환각 감소 조언(AI 환각 가이드 참조)은 개방형 텍스트 생성에서 지어낸 사실을 다룹니다. 이 글은 LLM이 명령을 기기 동작에 매핑할 때 발생하는 함수 호출 특유의 실패 모드를 다룹니다.
이 맥락에서 작은 모델은 환각을 더 일으키나요, 덜 일으키나요?
크기만이 아니라 범위에 달려 있습니다. 노출 엔티티를 소수로 제한한 작은 모델은 간단한 명령을 처리할 수 있지만, Home Assistant의 Ollama 문서는 작은 모델이 큰 모델보다 실수할 가능성이 더 높고 도구를 지원하는 모델만 집을 제어할 수 있다고 설명합니다. 먼저 엔티티 목록을 좁힌 뒤 직접 쓰는 명령으로 모델을 테스트하세요 — 소형 언어 모델 가이드를 참고하세요.
잘못된 기기 작동을 완전히 없앨 수 있나요?
완전히는 아니지만, 함수 호출 스키마를 실제 현재 엔티티 목록으로 제약하고, 구별되는 엔티티 이름을 사용하고, 엣지 케이스를 테스트하면 실패율을 크게 줄일 수 있습니다 — 이를 보장이 아닌 위험 감소로 받아들이세요.
LLM이 잠금장치와 보안 시스템을 제어하도록 해도 될까요?
잠금장치처럼 결과가 더 큰 기기로 LLM 제어를 확장하기 전에, 위험도가 낮은 기기(조명)부터 시작해 특정 설정의 신뢰성에 대한 확신을 쌓으세요 — 이는 기술적 요구사항이 아닌 위험 관리 차원의 선택입니다.
Home Assistant의 Ollama 통합이 엔티티 그라운딩을 자동으로 처리하나요?
대화 에이전트를 위해 현재 설정에서 사용 가능한 엔티티 목록을 동적으로 생성하며, 이는 여기서 설명한 그라운딩의 상당 부분을 처리합니다 — 설정 세부 사항은 Home Assistant + Ollama 통합 가이드를 참조하세요.
자동화가 올바른 엔티티를 확신 있게 식별할 수 없을 때 어떻게 해야 하나요?
이름이 비슷한 엔티티를 추측하는 대신 안전하게 실패해야 합니다 — 명확히 확인을 요청하거나 아무 동작도 하지 않아야 합니다. 이는 자동화의 함수 호출 로직을 어떻게 구성할지에 대한 설계 선택입니다.
Home Assistant에서 LLM 환각을 줄이려면 어떻게 하나요?
제어하려는 엔티티만 노출하고, 모델이 해당 엔티티에 대한 도구 호출만 하도록 제약하고, 기억에 의존하지 말고 현재 상태를 전달하고, 도구 호출을 지원하는 모델을 쓰고, 경계 사례를 테스트하고, 확신이 없을 때 자동화가 안전하게 실패하도록 하세요. 어느 한 단계가 위험을 없애지는 못하지만, 함께 쓰면 줄일 수 있습니다.
Home Assistant에서 LLM에 몇 개의 엔티티를 노출해야 하나요?
Home Assistant의 Ollama 연동 문서는 실험 단계에서 노출 엔티티를 25개 미만으로 두라고 권장합니다. 실제로 제어하려는 소수의 기기부터 시작해 신뢰성을 확인하면서 늘려 가세요. 엔티티는 명시적으로 노출해야 하며, 이는 잠금장치나 차고 문이 실수로 작동하는 것을 막는 역할도 합니다.