핵심 요점
- llama.cpp(GGUF)와 MLX라는 두 가지 로컬 엔진으로 200개 이상의 다운로드 가능한 로컬 모델을 실행
- 무료 다운로드, 선택적 인앱 구매(3.99달러-99.99달러)와 자체 API 키를 사용하는 선택적 클라우드 제공업체 제공
- 추가 기능: 화자 구분이 가능한 음성 전사, 문서/RSS 지식 라이브러리, 멀티 에이전트 팀, 기기 내 텍스트 음성 변환, Siri 단축어를 통한 자동화, Vision Pro 네이티브 지원
- iPhone 14+, iPad mini(7세대)+, Apple 실리콘 Mac, 또는 Apple Vision Pro 필요
- 개발자: Zijie Deng, 독립 개발자——공개적으로 알려진 규모나 자금 조달 내역이 있는 기업이 아님
- 개발자 Eduardo Dominguez Menendez의 별도 유료 앱 "AI on Device"와는 다른 제품——이름 구분 섹션 참조
- 본 리뷰는 로컬 LLM 소프트웨어 디렉터리에 있는 On Device AI 항목을 보완하는 문서입니다
📍 한 문장으로
On Device AI는 개발자 Zijie Deng이 만든 iPhone·iPad·Apple 실리콘 Mac·Apple Vision Pro용 무료 앱으로, llama.cpp(GGUF)와 MLX를 통해 200개 이상의 다운로드 가능한 오픈 웨이트 AI 모델을 기기에서 완전히 실행하며, 음성 전사, 문서 라이브러리, 멀티 에이전트 워크플로, 선택적 클라우드 제공업체 연결을 함께 제공합니다.
💬 쉽게 말하면
고정된 단일 AI 모델을 탑재하는 대신, On Device AI는 로컬 모델을 위한 앱스토어처럼 작동합니다. 200개 이상의 개방형 모델 라이브러리를 둘러보고, 자신의 기기에 맞는 모델을 다운로드한 다음, 원격 서버가 아니라 기기 자체의 칩을 사용해 대화합니다. 또한 음성 녹음을 전사하고, 문서와 RSS 피드를 소리 내어 읽어 주며, 여러 AI 에이전트로 이루어진 소규모 팀이 함께 작업하도록 할 수도 있습니다——모델을 다운로드하면 이 모든 것이 인터넷 연결 없이 작동합니다.
📌참고: 본 리뷰는 On Device AI가 ondevice-ai.app와 App Store 등록 정보에서 스스로 밝힌 내용을 다룹니다. PromptQuorum은 지원되는 200개 이상의 모델 전반에 걸친 온디바이스 추론 속도를 독립적으로 벤치마크하지 않았으며, 로컬 처리 중 데이터를 수집하지 않는다는 주장도 독립적으로 검증하지 않았습니다——이는 개발자가 밝힌 설계 특성일 뿐, 제3자가 감사한 보증이 아닙니다.
On Device AI란 무엇입니까?
On Device AI는 대화를 클라우드 서버로 보내는 대신 AI 모델을 기기에서 직접 실행하는 iPhone·iPad·Apple 실리콘 Mac·Apple Vision Pro용 앱입니다. 단일 모델을 탑재하는 대신, 둘러보고 다운로드할 수 있는 200개 이상의 오픈 웨이트 모델 라이브러리를 제공하므로, 실행하는 모델은 개발자가 고정해 둔 결정이 아니라 기기의 저장 공간과 메모리에 따른 자신의 선택이 됩니다.
- 모델 선택: Llama 3, Gemma 3, Qwen 3, DeepSeek, Phi-4, Mistral 계열을 포함해 둘러보고 다운로드할 수 있는 200개 이상의 오픈 웨이트 모델
- 온디바이스 실행: 모델은 클라우드 API 호출이 아니라 llama.cpp 또는 MLX를 통해 기기 자체의 연산 능력을 사용해 실행됨
- 사용자 지정 모델: 내장 라이브러리 외에도 Hugging Face에서 호환되는 GGUF 모델을 가져오는 것을 지원
- 플랫폼 범위: iPhone·iPad·Apple 실리콘 Mac·Apple Vision Pro——Android나 Windows 버전이 없는 Apple 전용 앱
- 개발자: Zijie Deng, 독립 개발자로 공개적으로 알려진 규모나 자금 조달 내역이 있는 기업이 아님
"AI on Device"와 혼동하지 마십시오
On Device AI(본 리뷰의 대상, ondevice-ai.app)와 AI on Device(별도로 리뷰한 별개의 앱)는 헷갈릴 정도로 이름이 비슷한 두 개의 서로 다른 제품입니다. 둘 다 Apple 기기에서 모델을 로컬로 실행하지만, 서로 다른 개발자가 만들었으며 모델 선택과 가격 책정에서 정반대의 접근 방식을 취합니다.
항목 | On Device AI(본 리뷰) | AI on Device(별개의 앱) |
|---|---|---|
| 개발자 | Zijie Deng | Eduardo Dominguez Menendez |
| 모델 선택 | 다운로드 가능한 200개 이상의 모델(GGUF+MLX) | 고정된 3B 모델 1개(2비트) |
| 가격 | 무료 + 선택적 인앱 구매(3.99달러-99.99달러) | 일회성 4.99달러 |
| 하드웨어 요구 사항 | iPhone 14+/iPad mini 7+/Apple 실리콘 Mac/Vision Pro | Apple Intelligence 호환 기기만 해당(iOS/macOS 26+) |
| App Store ID | id6497060890 | id6753206463 |
링크나 검색 결과, App Store 검색을 통해 다른 앱을 찾다가 이곳에 오셨다면, 대신 별도의 AI on Device 리뷰를 읽어 보시기 바랍니다——두 앱은 서로 관련이 없으며, 본 리뷰는 고정 모델을 사용하고 Apple Intelligence로 제한된 그 앱을 다루지 않습니다.
로컬 추론의 작동 방식: llama.cpp와 MLX
On Device AI는 모델 형식에 따라 선택되는 두 개의 별도 로컬 추론 엔진을 통해 모델을 실행합니다: GGUF 형식 모델용 llama.cpp와 Apple 실리콘에 최적화된 모델용 MLX입니다. 두 엔진 모두 원격 서버가 아닌 기기 자체의 칩을 사용해 모델을 실행하므로, 모델을 다운로드한 후에는 어떤 요청도 기기를 벗어날 필요가 없습니다.
- 1단계: 모델 라이브러리(200개 이상의 선택지)를 둘러보고 기기의 저장 공간과 메모리에 맞는 모델을 선택
- 2단계: 모델 파일을 기기에 다운로드(이 단계에만 인터넷 연결 필요)
- 3단계: 다운로드한 모델로 채팅, 전사, 또는 에이전트 워크플로 실행——이 시점부터 로컬 처리에는 인터넷 연결이 필요하지 않음
- 4단계: 내장 라이브러리가 특정 요구를 충족하지 못하는 경우, 선택적으로 Hugging Face에서 사용자 지정 GGUF 모델을 가져오기
On Device AI는 그 밖에 무엇을 할 수 있습니까?
On Device AI는 채팅을 위해 선택한 로컬 모델을 실행하는 것 외에도, 음성 전사, 문서 및 RSS 가져오기, 멀티 에이전트 워크플로, 기기 내 텍스트 음성 변환, 자동화 연동 기능을 같은 앱에 함께 담고 있습니다. 이러한 기능들은 이 앱을 단순한 모델 채팅 클라이언트에서 더 폭넓은 온디바이스 생산성 작업 공간으로 확장시켜 줍니다.
- 화자 구분이 가능한 음성 전사: 오디오를 녹음하고 누가 무슨 말을 했는지 식별
- 지식 라이브러리: PDF, 메모, 전사 기록, 이미지, 웹 캡처를 가져와 AI 기반 문서 분석 수행
- Listen Library와 RSS 피드: 문서와 RSS 피드를 재생 컨트롤이 있는 읽기/듣기 대기열로 변환
- 멀티 에이전트 팀: 특화된 AI 에이전트(예: 리서처, 분석가, 작성자 역할)를 배치해 하나의 작업을 함께 처리
- 기기 내 텍스트 음성 변환: Apple Voices, Kokoro, PocketTTS를 포함한 세 가지 엔진
- AI 검색 및 도구 호출: 출처가 인용된 웹 검색과, 호환되는 모델을 위한 도구 호출
- 자동화: Siri 단축어, 위젯, 캘린더, 미리 알림과의 연동
- 공간 컴퓨팅 통합을 갖춘 Apple Vision Pro 네이티브 지원
- Mac 전용 추가 기능: 메뉴 막대 접근, 전역 단축키, 메신저 연동(Discord, Slack, Telegram), 원격 추론 서버 기능
On Device AI 받기: 요구 사항 및 다운로드
On Device AI는 Apple App Store를 통해서만 배포되며——직접 다운로드나 Android 버전, Windows 버전은 없습니다. 기기 요구 사항은 하드웨어 종류에 따라 다르므로, 다운로드하기 전에 아래 표를 자신의 구체적인 기기와 비교해 확인하시기 바랍니다.
기기 | 최소 요구 사항 |
|---|---|
| iPhone | iPhone 14 이상, iOS 18+ — App Store에서 받기 |
| iPad | iPad mini(7세대), iPad Air(5세대), iPad Pro(3세대), 또는 iPad(11세대) 이상, iPadOS 18+ — App Store에서 받기 |
| Mac | Apple 실리콘 전용, macOS 15+ — App Store에서 받기 |
| Vision Pro | visionOS 2.0+ — App Store에서 받기 |
On Device AI 자체 등록 정보는 최적의 성능을 위해 기기 메모리 6GB 이상을 권장합니다. Android나 Windows 버전은 없습니다——여러 플랫폼을 지원하는 대안이 필요하다면, 해당 플랫폼을 다루는 로컬 모델 앱에 대해 로컬 LLM 소프트웨어 디렉터리를 확인하시기 바랍니다.
On Device AI 요금: 무료, Pro, 클라우드 제공업체
On Device AI는 핵심 로컬 워크플로에 대해서는 무료로 다운로드하고 사용할 수 있으며, 그 위에 선택적 인앱 구매와 선택적 클라우드 제공업체 연결이 추가로 제공됩니다. App Store 등록 정보에는 Pro 기능에 대해 3.99달러에서 99.99달러 사이의 인앱 구매 범위가 표시되어 있으나, 각 가격대별로 정확히 어떤 기능이 제공되는지는 본 리뷰가 참고한 자료에 상세히 명시되어 있지 않았습니다.
- 무료 등급: 계정이 필요 없는 핵심 로컬 모델 채팅 및 워크플로
- Pro 기능: 선택적 인앱 구매, App Store 등록 정보에 따르면 3.99달러-99.99달러——등급별 구체적인 기능 제공 내용은 본 리뷰가 참고한 자료에 공개되어 있지 않음
- 클라우드 제공업체: 선택 사항이며 OpenAI, Anthropic, Google Gemini, Groq, OpenRouter, Nvidia, LM Studio, Ollama 등 제공업체의 자체 계정/API 키가 필요——무료 또는 Pro 등급에 포함되지 않으며, 사용 비용은 On Device AI가 아니라 해당 제공업체가 직접 청구함
- 배포: Apple App Store 전용
On Device AI는 실제로 얼마나 사생활을 보호합니까?
On Device AI는 로컬 AI 처리에 계정, 분석, 원격 측정이 관여하지 않으며, 해당 처리 중에는 대화, 문서, 녹음이 기기를 벗어나지 않는다고 밝히고 있습니다. 이는 앱의 설계에 관한 주장이며 독립적으로 검증된 준수 인증이 아닙니다——제3자가 감사한 보증이 아니라 개발자가 밝힌 개인정보 보호 방침으로 받아들이시기 바랍니다.
- 로컬 사용에 계정이 필요하지 않다는 점은 사용 내역을 특정 신원과 연결하는 일반적인 방법 하나를 제거함
- 로컬 모델의 온디바이스 처리는 설계상 응답을 생성하기 위해 대화 내용이 기기를 벗어날 필요가 없음을 의미함
- 본 리뷰는 네트워크 트래픽을 독립적으로 테스트하거나 On Device AI의 코드를 감사하여 로컬 처리 중 데이터를 수집하지 않는다는 주장을 확인하지 않았음
- 선택적 클라우드 제공업체를 연결하는 것은 별도의 자발적인 단계로, On Device AI의 로컬 처리 주장과는 무관하게 해당 제공업체 자체의 약관에 따라 데이터를 전송함
On Device AI는 누구에게 적합합니까?
On Device AI가 자신에게 적합한지 여부는 단순한 하나의 채팅 앱이 아니라, 다양한 로컬 모델 선택지와 더 넓은 생산성 도구 모음을 원하는지에 달려 있습니다.
경쟁 제품 및 대안
On Device AI는 Apple 기기에서 오픈 웨이트 모델을 로컬로 실행하는 소수의 다른 앱들과 경쟁합니다. 가장 가까운 선택지들과 비교한 내용은 다음과 같습니다——전체 목록은 로컬 LLM 소프트웨어 디렉터리를 참조하십시오.
- Enclave AI — 다른 독립 개발자가 만든 무료 iPhone/iPad/Mac 앱으로, 다운로드 가능한 수백 개의 오픈소스 모델과 함께 개인화된 어시스턴트, 문서 상호작용, Siri/단축어 자동화를 제공합니다. 아래의 고정 모델 앱들보다 기능 면에서 On Device AI에 더 가까운 대상입니다.
- Noema — Apple 플랫폼용 또 다른 온디바이스 모델 채팅 앱입니다. 구체적인 모델 라이브러리와 기능 구성은 전용 리뷰를 참조하십시오.
- Solair AI — 별도로 리뷰한 또 다른 온디바이스 AI 앱입니다. 모델 선택지와 요금을 On Device AI의 3.99달러-99.99달러 인앱 구매 범위와 비교해 보십시오.
- "AI on Device" — 이름은 거의 동일하지만 본 리뷰의 대상과 같은 앱이 아닙니다. 다른 개발자(Eduardo Dominguez Menendez)가 만든 일회성 4.99달러 앱으로, 200개 이상의 모델 라이브러리를 제공하는 대신 2비트로 양자화된 고정된 30억 매개변수 모델 1개를 실행하며 Apple Intelligence 호환 기기를 요구합니다.
On Device AI 평가 시 흔한 실수
On Device AI에 대한 대부분의 혼란은 이름이 비슷한 "AI on Device" 앱과 혼동하거나, 선택적 클라우드 기능이 로컬 처리에 관한 개인정보 보호 주장을 바꾼다고 오해하는 데서 비롯됩니다.
자주 묻는 질문
On Device AI란 무엇입니까?
On Device AI(ondevice-ai.app)는 개발자 Zijie Deng이 만든 iPhone·iPad·Apple 실리콘 Mac·Apple Vision Pro용 무료 앱으로, GGUF 모델에는 llama.cpp를, Apple 실리콘에는 MLX를 사용해 200개 이상의 다운로드 가능한 오픈 웨이트 AI 모델을 로컬로 실행합니다.
On Device AI는 "AI on Device"와 같은 앱입니까?
아닙니다. On Device AI(본 리뷰의 대상)와 AI on Device는 서로 다른 개발자가 만든 별개의 앱입니다. On Device AI는 200개 이상의 모델을 무료로 다운로드할 수 있고 선택적 인앱 구매가 있습니다. AI on Device는 개발자 Eduardo Dominguez Menendez가 만든 일회성 4.99달러 앱으로, 고정된 3B 모델 1개를 번들로 제공하며 Apple Intelligence 호환 기기를 요구합니다. 그 앱을 찾고 계셨다면 별도의 AI on Device 리뷰를 참조하십시오.
On Device AI는 몇 개의 모델을 지원합니까?
Llama 3, Gemma 3, Qwen 3, DeepSeek, Phi-4, Mistral 계열을 포함해 200개 이상의 다운로드 가능한 오픈 웨이트 모델이, GGUF 형식 모델용 llama.cpp와 Apple 실리콘에 최적화된 모델용 MLX라는 두 가지 로컬 엔진을 통해 실행됩니다.
On Device AI는 무료입니까?
On Device AI는 App Store에서 무료로 다운로드할 수 있으며, 핵심 로컬 모델 워크플로에 무료로 접근할 수 있습니다. Pro 기능을 위한 3.99달러에서 99.99달러 사이의 선택적 인앱 구매와, 자신의 API 키가 필요한 선택적 클라우드 제공업체 연결을 제공합니다.
On Device AI는 어떤 기기를 지원합니까?
iPhone 14 이상(iOS 18+), iPad mini(7세대) 이상을 포함한 최신 iPad(iPadOS 18+), 모든 Apple 실리콘 Mac(macOS 15+), Apple Vision Pro(visionOS 2.0+)입니다. Android, Windows, Intel Mac은 지원하지 않습니다.
On Device AI는 인터넷 연결 없이 작동합니까?
모델을 다운로드하면, 로컬 채팅과 그 밖의 온디바이스 처리는 인터넷 연결 없이 작동합니다. 모델 다운로드와 선택적 클라우드 제공업체 연결 사용에는 모두 인터넷 접속이 필요합니다.
On Device AI는 제 데이터를 수집합니까?
On Device AI 자체 사이트에 따르면, 로컬 AI 처리에는 계정, 분석, 원격 측정이 관여하지 않으며, 해당 처리 중에는 대화, 문서, 녹음이 기기를 벗어나지 않습니다. 본 리뷰는 이 주장을 독립적으로 감사하지 않았습니다——이는 개발자가 밝힌 설계이며, 제3자가 검증한 보증이 아닙니다.
On Device AI는 사용자 지정 모델을 가져올 수 있습니까?
네. 내장된 200개 이상의 모델 라이브러리 외에도, On Device AI는 Hugging Face에서 호환되는 GGUF 모델을 가져오는 것을 지원합니다.
On Device AI는 음성 기능을 지원합니까?
네. 화자 구분이 가능한 음성 전사와, Apple Voices, Kokoro, PocketTTS를 포함한 세 가지 엔진을 통한 기기 내 텍스트 음성 변환을 제공합니다.
On Device AI는 누가 개발합니까?
App Store 등록 정보에 따르면 On Device AI는 독립 개발자인 Zijie Deng이 개발하며, 공개적으로 알려진 규모나 자금 조달 내역이 있는 기업이 아닙니다.
On Device AI는 Apple Vision Pro를 지원합니까?
네. On Device AI는 공간 컴퓨팅을 지원하는 네이티브 visionOS 통합을 제공하며, visionOS 2.0 이상이 필요합니다.