본문으로 건너뛰기
PromptQuorum인간을 위해 설계. AI를 위해 구조화.
홈/고급 로컬 LLM
Mobile & Edge LLMs

2026년 Android 로컬 AI: 가능한 것, 불가능한 것, 그리고 다루는 앱

·45분 읽기 저 · PromptQuorum 창립자 · 오픈 웨이트·오픈소스 AI 디스커버리 엔진

예, 최신 Android 스마트폰은 유용한 로컬 AI를 오프라인으로 실행할 수 있지만 작은 모델만 가능합니다. RAM 6~8 GB에서는 10억~40억 개 파라미터, RAM 12~16 GB에서는 저비트 양자화로 70억~80억 개 파라미터를 기대할 수 있습니다. 채팅, 카메라 질문, 음성 받아쓰기, 문서 Q&A, 번역은 동작하지만, 최상위 모델 수준의 품질, 긴 컨텍스트, 지속적인 속도, 항상 켜져 있는 백그라운드 어시스턴트는 불가능합니다. Android는 iPhone보다 선택지가 넓거나 쉽습니다. 스토어 밖 앱 설치, Termux, 스마트폰을 로컬 API 서버로 쓰는 방법이 그 예입니다.

핵심 요점

  • Android의 로컬 AI는 실제로 존재하고 오프라인에서 동작하지만, 작은 모델의 AI입니다. RAM 6~8 GB 스마트폰은 10억~40억 개 파라미터 모델을 다루고, RAM 12~16 GB 스마트폰은 저비트 양자화로 70억~80억 개 파라미터 모델을 담을 수 있습니다. 클라우드급 답변, 긴 문서, 긴 답변의 빠른 생성은 아직 어렵습니다.
  • RAM은 무엇이 들어가는지를 정하고, 메모리 대역폭, 발열, 칩은 얼마나 빠른지를 정합니다. 모델은 Android 자체와 함께 여유 RAM에 들어가야 하며, 생성 속도는 토큰마다 스마트폰이 메모리에서 모델을 읽어 오는 속도에 의해 제한됩니다.
  • 거의 모든 앱 뒤에는 네 가지 엔진이 있습니다. llama.cpp(GGUF 파일, CPU와 때로는 GPU), Google LiteRT-LM(Gemma 및 기타 모델, GPU와 점차 NPU), MLC(컴파일된 모델, OpenCL GPU), Google AICore의 Gemini Nano(시스템 모델, 지원 스마트폰만, 앱은 ML Kit으로 호출)입니다.
  • NPU는 스마트폰에서 가장 접근하기 어려운 부분입니다. Google, Qualcomm, MediaTek은 LiteRT와 Qualcomm GenieX를 통해 NPU 경로를 공개하지만, 칩마다 따로 컴파일된 모델이 필요합니다. 범용 사이드로드 GGUF 앱은 대개 CPU 또는 GPU에서 실행됩니다.
  • Android는 여러 면에서 iPhone보다 여지가 더 많습니다. Google Play 밖에서 앱을 설치할 수 있고, Termux로 스마트폰에서 Linux 터미널을 쓸 수 있으며, 스마트폰이 노트북에 OpenAI 호환 API를 제공할 수 있고, GGUF 모델 가져오기가 일반적인 기능입니다. 그 대가는 파편화로, 결과가 브랜드, 칩, 배터리 설정에 따라 달라집니다.
  • 디렉토리에 있는 Android 앱 대부분은 이 가이드에서 하나의 작업에 대응합니다. 채팅, 비전, 음성, 문서, 번역, 이미지 생성, 사진, 노트, 스마트홈과 에이전트, 개발자 도구, 자신의 서버를 위한 원격 클라이언트입니다.
  • "원격 측정 없음(zero telemetry)"은 보증이 아니라 주장입니다. 온디바이스 추론은 프롬프트를 서버로 보내지 않지만, 앱은 여전히 분석 도구, 광고, 충돌 보고서를 포함할 수 있습니다. 데이터 보안 카드와 개인정보 처리방침을 함께 읽으십시오. 두 내용이 예상보다 자주 어긋납니다.
  • 오늘 불가능한 것: 오프라인에서의 최상위 모델 수준 품질, 700억 개 파라미터 모델, 100만 토큰 컨텍스트, Android가 종료하지 않는 항상 켜진 백그라운드 어시스턴트, 모든 스마트폰의 모든 앱에서의 Gemini Nano 접근입니다.
언어 선택:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

2026년에 Android 스마트폰은 로컬 AI를 오프라인으로 실행할 수 있습니다. 채팅, 카메라 질문, 음성 받아쓰기, 문서 Q&A, 번역은 대략 10억~40억 개 파라미터 모델로 동작하며, RAM 12~16 GB 스마트폰에서는 70억~80억 개 파라미터 모델도 가능합니다. 이 가이드는 주요 기능, 명확한 한계, 칩과 RAM의 현실을 정리하고, 디렉토리에 있는 Android 앱을 각각 가장 잘하는 작업에 연결합니다.

2026년 Android 로컬 AI: 가능한 것, 불가능한 것, 그리고 다루는 앱

여기서 시작: 설치할 앱 세 가지

시간이 부족하다면 이 세 가지 중 하나를 설치하고, 스마트폰 RAM에 맞는 모델을 내려받은 뒤, 비행기 모드에서 한 번 테스트하십시오. 이 추천은 벤치마크가 아니라 이 가이드의 각 장과 리뷰에서 나온 것이며, 각 선택의 이유는 가이드의 나머지 부분에서 설명합니다.

다른 좋은 시작점: AICore가 Gemini Nano를 지원하는 휴대폰(예: Pixel 9 또는 10)에서는 다운로드 없이 Google의 시스템 모델을 사용하는 PAIOS를 사용해 보십시오. 카메라 질문과 Gemma 모델에는 Google AI Edge Gallery를 사용하십시오. 더 큰 모델을 스마트폰에서 실행하려면 LocalMind로 자신의 컴퓨터에 있는 Ollama 또는 LM Studio에 연결하십시오.

📍 한 문장으로

초보자는 PocketPal AI로, 고급 사용자는 Maid와 더 큰 GGUF 모델로, 개발자는 ML Kit Prompt API 또는 LiteRT-LM으로 시작할 수 있으며, 어느 경우든 모델 크기는 스마트폰의 RAM에 맞춥니다.

💬 쉽게 말하면

앱 하나, RAM에 맞는 모델 하나, 비행기 모드 테스트 한 번.

초보자

설치 또는 사용:
PocketPal AI
첫 모델:
4~6 GB RAM이면 1~2B, 8 GB이면 3~4B
이 앱을 고른 이유:
무료이며 MIT 라이선스이고 계정이 필요 없습니다. 모델은 직접 선택하며, 너무 큰 모델은 단지 불러와지지 않을 뿐이므로 그럴 때는 한 단계 작은 모델로 내리십시오.

고급 사용자

설치 또는 사용:
Maid
첫 모델:
12 GB이면 4~8B, 16 GB이면 7~8B, 짧은 컨텍스트 사용
이 앱을 고른 이유:
스마트폰이 담을 수 있는 가장 큰 모델을 위한 GGUF 실행기입니다. 스마트폰이 더 느려지고 더 뜨거워질 것으로 예상해야 하며, 컨텍스트는 짧게 유지하십시오.

개발자

설치 또는 사용:
ML Kit Prompt API 또는 LiteRT-LM
첫 모델:
Google 시스템 모델 또는 직접 준비한 모델
이 앱을 고른 이유:
Prompt API는 시스템 모델로 작은 텍스트 작업을 처리하고, LiteRT-LM은 직접 준비한 모델용입니다. 다른 경로는 '개발자 경로' 장에서 비교합니다.

설치 전 여섯 가지 빠른 답변

독자들이 가장 먼저 묻는 여섯 가지 질문입니다. 각 답변은 그것을 설명하는 장을 안내합니다.

📍 한 문장으로

RAM이 모델 크기를 정하고, 여유 저장 공간 3~6 GB면 첫 모델을 담을 수 있으며, 비행기 모드 테스트로 앱이 오프라인에서 작동하는지 확인할 수 있습니다.

💬 쉽게 말하면

RAM이 모델을 고르고, 저장 공간이 모델을 담고, 비행기 모드가 이를 확인해 줍니다.

  • 어떤 모델을 내려받아야 합니까? RAM에 맞추십시오. 4~6 GB이면 1~2B, 8 GB이면 3~4B, 12~16 GB이면 4~8B이며, 7~8B는 짧은 컨텍스트에서만 들어갑니다. 확신이 없으면 더 작은 모델을 고르십시오. 아래의 'RAM 구간'을 참고하십시오.
  • 저장 공간은 얼마나 필요합니까? 첫 모델을 위해 3~6 GB의 여유 공간을 확보하십시오. 모델 파일은 기가바이트 단위이기 때문입니다. '15분 만에 첫 실행'을 참고하십시오.
  • 얼마나 빠르게 실행됩니까? PromptQuorum은 이 가이드를 위해 새로운 속도 테스트를 실행하지 않았습니다. 속도는 메모리 대역폭에 제한되므로 작은 모델일수록 더 빨리 답합니다. 첫 prompt에서 단어가 나타나는 속도를 기록해 두고 이를 기준으로 삼으십시오. '칩' 장을 참고하십시오.
  • 어떤 앱이 프라이빗합니까? 프라이빗하다고 가정할 수 있는 앱은 없습니다. 온디바이스 추론은 prompt가 공급업체의 추론 서버로 가지 않게 하지만, 앱이 분석 데이터를 보낼 수는 있습니다. Data safety 카드, 개인정보 처리방침, 권한을 확인하고 비행기 모드 테스트를 하십시오. PocketPal AI 같은 오픈 소스 앱은 감사할 수 있지만, 클로즈드 소스의 주장은 신뢰에 의존합니다. '개인정보와 원격 측정의 현실'을 참고하십시오.
  • 인터넷 없이 무엇을 할 수 있습니까? 이 가이드의 기능 지도에 따르면, 채팅, 카메라 질문, 받아쓰기, 문서 질문, 번역은 다운로드 후 적합한 모델과 함께 오프라인에서 작동할 수 있습니다. 이미지 생성과 큰 모델은 느리거나 서버가 필요합니다. '기능 지도'를 참고하십시오.
  • 다음에 무엇을 읽어야 합니까? '15분 만에 첫 실행'을 따르고, '요약: 스마트폰 등급, 앱, 모델 크기'를 표 한 장짜리 치트 시트로 활용하며, 특정 용도가 있다면 '선택 경로'를 여십시오.

빠른 사실

  • 현실적인 모델 크기: RAM 4~6 GB에서 10억~20억 개 파라미터, 8 GB에서 30억~40억 개, RAM 12~16 GB에서 저비트 양자화로 70억~80억 개. 이는 파일 크기 계산에서 나온 경험칙이며 벤치마크 결과가 아닙니다.
  • ML Kit GenAI의 Gemini Nano: Prompt API는 텍스트와 최대 10개의 이미지를 받고, 입력은 약 4,000 토큰 미만이며, 호출한 앱이 포그라운드에 있을 때만 동작합니다(Google).
  • Gemma 4 E2B와 E4B: Google은 이 모델을 Gemini Nano 4의 기반이라고 부르며 E2B가 E4B보다 최대 3배 빠르다고 밝힙니다. AICore Developer Preview는 2026년 4월 2일에 열렸습니다(Android Developers Blog).
  • NPU 경로: LiteRT에는 Qualcomm과 MediaTek NPU 가속기가 있습니다. Google은 Dimensity 9500 NPU(Vivo X300 Pro, Google 수치, 4K 컨텍스트)에서 Gemma 3n E2B가 프리필 초당 1,600 토큰 이상, 디코드 초당 28 토큰이라고 보고합니다.
  • 개발자를 위한 Pixel TPU: Tensor SDK는 2026년 5월 19일에 베타에 도달했으며 Pixel 10, 10 Pro, 10 Pro XL, 10 Pro Fold를 지원 대상으로 나열합니다.
  • Android 버전: Google AI Edge Gallery는 Android 12 이상이 필요하고, LiteRT의 NPU 문서는 API 레벨 31 이상을 요구하며, AppFunctions는 Android 16 이상이 필요합니다.
  • Termux: F-Droid 또는 GitHub에서 설치하십시오. Google Play 빌드는 Termux 관리자가 실험용으로 표시했으며, 출처를 섞으면 업데이트가 깨집니다.
  • 다루는 앱: 공개 자료를 바탕으로 우리가 검토한 PromptQuorum 디렉토리의 Android 앱이며, 해당되는 곳에서 각 앱의 리뷰에 한 번씩 연결됩니다. 전체 목록은 디렉토리에서 확인하십시오.
  • iPhone 사용자입니까? 자매 가이드 iPhone의 로컬 AI를 참고하십시오.

기능 지도: 되는 것, 일부 되는 것, 안 되는 것

일상적인 AI 작업 대부분은 Android 스마트폰에서 연결 없이 동작하지만, 규모나 지속적인 백그라운드 활동이 필요한 작업은 동작하지 않습니다. 표는 기능별 판정, 시작하기 좋은 앱 하나, 명확한 한계를 보여 줍니다. 아래 각 장은 해당 작업에서 우리가 다루는 앱을 나열합니다.

"가능"은 작은 온디바이스 모델이 오늘날 그 작업을 무난히 해낸다는 뜻입니다. "일부 가능"은 서버를 거치거나, 앱이 하나뿐이거나, 품질에 뚜렷한 한계가 있는 경우에 동작한다는 뜻입니다. "불가"는 한계가 앱이 없어서가 아니라 물리적이거나 플랫폼 규칙 때문이라는 뜻입니다.

📍 한 문장으로

2026년 Android에서 채팅, 카메라 질문, 음성 받아쓰기, 번역, 짧은 문서 Q&A는 작은 모델로 오프라인 실행되지만, 대형 모델, 긴 컨텍스트, 항상 켜진 어시스턴트는 실행되지 않습니다.

💬 쉽게 말하면

온디바이스 모델은 작은 책상을 가진 유능한 인턴과 같습니다. 빠르고, 비공개이고, 오프라인이지만, 도서관 전체를 담거나 어려운 질문에서 클라우드 모델과 맞먹지는 못합니다.

기능
스마트폰에서?
시작하기
명확한 한계
오프라인 채팅가능PocketPal AI작은 모델만 가능
카메라 및 이미지 질문가능Google AI Edge Gallery비전 지원 모델 필요
음성 받아쓰기(음성-텍스트)가능Private Mind언어별로 정확도가 다름
답변 읽어 주기가능ToolNeuron앱별로 음성 품질이 다름
오프라인 음성 어시스턴트일부 가능Home Assistant AssistAndroid가 백그라운드 청취를 종료할 수 있음
문서 및 PDF 질문가능AnythingLLM Mobile작은 모델의 컨텍스트 윈도우
번역가능LLM Hub드문 언어에서는 약함
이미지 생성일부 가능TokForge데스크톱 GPU보다 느림
사진 검색일부 가능Ente Photos서버나 데스크톱에서 실행되는 경우가 많음
노트와 북마크의 AI일부 가능KarakeepAI는 보통 자신의 서버에서 실행
스마트홈 허브일부 가능Scrypted스마트폰은 클라이언트이지 두뇌가 아님
스마트폰을 조작하는 에이전트초기 단계Kai 9000시스템 훅은 아직 프리뷰
스마트폰을 씬 클라이언트로가능LocalMind서버가 켜져 있어야 함
자신의 앱에 AI 내장가능RunAnywhereNPU는 칩별 빌드가 필요
700억 개 파라미터 모델불가대신 서버를 사용하십시오RAM
오프라인에서 클라우드급 답변불가대신 서버를 사용하십시오모델 크기

💡팁: 작업이 "일부 가능"이라면 보통 원격 패턴으로 해결합니다. 스마트폰은 화면과 마이크가 되고, 컴퓨터나 홈 서버가 더 큰 모델을 실행합니다. 원격 모드 장을 참고하십시오.

이 가이드를 만든 방법

이 문서는 벤치마크 보고서가 아니라 자료 조사(desk research)로 만든 지도입니다. Hans Kuepper가 2026년 11월에 읽은 Google, Qualcomm, MediaTek, Termux 문서와 각 장에 연결된 개별 PromptQuorum 리뷰를 바탕으로 작성했습니다. PromptQuorum은 이 가이드를 위해 새로운 속도 테스트를 실행하지 않았습니다.

연결된 리뷰 다수는 스토어 설명, 개인정보 처리방침, 개발사 문서에 근거하며 PromptQuorum이 앱을 실행하지 않았다고 밝힙니다. 주장이 개발사나 Google에서 나온 경우 본문에 그렇게 적었습니다. 1차 출처로 확인하지 못한 내용은 본문에 "불확실"이라고 쓰거나 생략했습니다.

속도 수치는 이름이 밝혀진 출처가 기기를 명시해 공개한 경우에만 나옵니다. 모델 크기, RAM 구간, "초당 토큰 수 상한"은 계산에 따른 값이며 그렇게 표시했습니다.

📍 한 문장으로

이 가이드는 공식 플랫폼 문서와 PromptQuorum 앱 리뷰를 결합했으며 새로운 벤치마크를 실행하지 않았으므로, 모든 수치는 출처가 있거나 계산값으로 표시되어 있습니다.

💬 쉽게 말하면

문장에 속도, 기기, 출처가 함께 나와 있으면 그 출처가 공개한 것이고, 출처가 없으면 경험칙입니다.

RAM 구간: 스마트폰이 담을 수 있는 모델 크기

RAM은 첫 번째 필터입니다. 모델은 Android와 다른 앱 옆의 여유 메모리에 들어가야 합니다. 4비트 양자화 모델은 가중치만 10억 개 파라미터당 대략 0.5~0.6 GB가 필요하고, 컨텍스트 길이에 따라 늘어나는 작업 메모리가 추가됩니다. Android, 런처, 백그라운드 서비스는 보통 스마트폰 RAM의 수 GB를 차지하므로, 12 GB 스마트폰이 앱에 12 GB를 주지는 않습니다.

속도는 메모리 대역폭을 따릅니다. 토큰 하나를 생성하려면 모델 대부분을 메모리에서 읽어야 하므로 상한은 대략 대역폭을 모델 크기로 나눈 값입니다. 우리의 Galaxy S26 온디바이스 AI 가이드가 이를 적용합니다. 85.6 GB/s를 3.5 GB의 4비트 모델로 나누면 이론상 상한이 초당 24 토큰 근처입니다. 실제 앱은 상한보다 낮게 나오고, 뜨거워진 스마트폰은 더 낮게 나옵니다.

표는 출발점으로 보십시오. 검토한 앱 중 여러 곳은 고정 RAM 하한을 게시하지 않고 필요량이 불러오는 모델에 따라 달라진다고 하며, 다른 앱은 자체 제한을 둡니다. Ensu는 RAM이 4 GB 미만인 스마트폰에서 채팅을 비활성화하고, Private Mind의 Google Play 설명은 더 큰 모델에 4 GB 이상 스마트폰을 권장합니다.

📍 한 문장으로

RAM 6~8 GB 스마트폰은 4비트 양자화에서 약 10억~40억 개 파라미터 모델을 담을 수 있고, RAM 12~16 GB 스마트폰은 70억~80억 개를 담을 수 있습니다.

💬 쉽게 말하면

양자화는 각 가중치를 더 적은 비트로 저장해 모델을 줄이는 방법입니다. 4비트 모델은 16비트 모델의 대략 4분의 1 크기이며 품질은 약간 떨어집니다.

스마트폰 RAM
모델 크기(4비트)
예시 모델
기대할 수 있는 것
4 GB0.5~1BQwen3 0.6B, Gemma 3 1B짧은 답변, 간단한 작업
6 GB1~2BQwen3 1.7B, SmolLM2 1.7B쓸 만한 채팅, 기본 요약
8 GB3~4BPhi-4 Mini, Qwen3 4B대부분의 스마트폰에서 최적의 균형
12 GB4~8B(빠듯함)Gemma 4 E4B, Llama 3.2 3B7~8B는 작은 컨텍스트에서만
16 GB 이상7~8B7~8B instruct 모델더 느리고, 더 뜨겁고, 대기 시간이 긺

⚠️경고: Google의 자체 페이지에는 우리가 읽은 자료 기준으로 Gemma 4 E2B나 E4B의 RAM 하한이 게시되어 있지 않습니다. RAM 요구량은 불확실한 것으로 보고, 스마트폰에서 앱의 모델 목록을 확인하십시오.

💡팁: 모델이 불러와지지 않을 때 원인은 보통 전체 RAM이 아니라 여유 RAM입니다. 다른 앱을 닫고 스마트폰을 다시 시작한 뒤, 앱을 탓하기 전에 한 단계 작은 모델을 선택하십시오.

칩: Snapdragon, Tensor, Dimensity, Exynos

최신 플래그십 칩에는 NPU가 들어 있지만, 사이드로드 채팅 앱이 이를 쓰는 경우는 드뭅니다. 존재하는 NPU 경로는 칩 제조사와 Google이 공개한 것이며, 해당 칩에 맞게 준비된 모델이 필요합니다. 범용 llama.cpp 빌드를 쓰는 앱은 대부분 CPU에서, 때로는 GPU에서 실행됩니다.

Snapdragon. Qualcomm의 GenieX는 Snapdragon 8 Elite와 8 Elite Gen 5의 Android를 지원하고, Hexagon 백엔드가 있는 llama.cpp로 GGUF 모델을 실행하며, NPU 경로에는 Q4_0 양자화를 권장합니다. 해당 페이지는 출시 상태를 밝히지 않습니다. Google의 LiteRT Qualcomm 가속기는 Snapdragon 8 Elite Gen 5 NPU에서 FastVLM-0.5B가 첫 토큰까지 0.12초, 디코드 초당 100 토큰 이상이라고 보고합니다(Xiaomi 17 Pro Max, Google 수치). 이는 오늘날 개발자용 경로이지 채팅 앱의 버튼이 아닙니다.

Google Tensor. Pixel 9은 AICore와 ML Kit을 통해 Gemini Nano를 실행하며, Tensor G5를 탑재한 Pixel 10은 Gemini Nano 4 지원 대상으로 나열되어 있습니다. 자체 모델의 경우 Google의 Tensor SDK는 2026년 5월 19일에 Pixel 10 계열에서 베타에 도달했으며 LiteRT를 통해 TPU에서 모델을 실행합니다. 특정 서드파티 채팅 앱이 이미 이를 사용하는지는 앱별로 확인해야 합니다.

MediaTek Dimensity. Google과 MediaTek은 사전 컴파일된 모델(Qwen3 0.6B, Gemma 3 270M, Gemma 3 1B, Gemma 3n E2B, EmbeddingGemma 300M)이 포함된 LiteRT NeuroPilot 가속기를 공개했습니다. 벤치마크 칩은 Vivo X300 Pro의 Dimensity 9500이며, Google은 4K 컨텍스트에서 Gemma 3n E2B가 프리필 초당 1,600 토큰 이상, 디코드 초당 28 토큰이라고 보고합니다. MediaTek NPU용 맞춤 Gemma 모델 변환은 "곧"으로 표시되어 있었습니다.

Samsung Exynos. 우리 Galaxy S26 글에 따르면 S26과 S26+는 유럽, 한국, 그 밖의 대부분의 시장에서 Exynos 2600을, 미국, 중국, 일본에서는 Snapdragon을 사용하고, S26 Ultra는 모든 곳에서 Snapdragon 8 Elite Gen 5를 사용합니다. Exynos에서 서드파티 언어 모델 앱을 위한 공개 NPU 경로에 대한 1차 문서는 찾지 못했으므로, 사이드로드 앱은 CPU 또는 GPU를 가정하십시오. Exynos 2600 NPU에서의 Samsung 자체 EdgeFusion 이미지 생성은 Samsung과 Nota AI의 파이프라인이며 범용 앱이 그대로 물려받는 것이 아닙니다.

📍 한 문장으로

Snapdragon, Tensor, Dimensity는 모두 LiteRT나 벤더 SDK를 통한 NPU 또는 TPU 경로가 공개되어 있지만, 범용 사이드로드 GGUF 앱은 대개 CPU 또는 GPU에서 실행되며, Exynos는 서드파티 언어 모델을 위한 문서화된 공개 경로가 없습니다.

💬 쉽게 말하면

NPU는 칩마다 모델을 다시 만들어야 하는 빠른 차선입니다. 범용 모델 파일 하나만 제공하는 앱은 이를 쓸 수 없습니다.

칩 계열
공개 NPU/TPU 경로
문서 위치
상태
Snapdragon 8 Elite / Gen 5예, 칩별 빌드LiteRT, Qualcomm GenieX개발자 경로
Tensor G5(Pixel 10)예, Tensor SDK 경유Google Developers Blog베타(2026년 5월)
Tensor G4(Pixel 9)ML Kit을 통한 Gemini NanoML Kit GenAI지원 기기
Dimensity 9500예, NeuroPilotGoogle Developers Blog사전 컴파일 모델
Exynos 2600LLM용 문서 없음찾지 못함CPU 또는 GPU로 가정
구형 또는 중급 칩드묾다양함CPU, 작은 모델

⚠️경고: 로컬 AI용 스마트폰을 NPU "TOPS" 수치로 고르지 마십시오. NPU의 최대 처리량은 NPU를 전혀 쓰지 않는 채팅 앱에 대해 알려 주는 것이 거의 없습니다. 실제 결과는 대부분 RAM 크기, 메모리 대역폭, 냉각이 좌우합니다.

Android AI 앱 뒤의 주요 엔진 4가지

이 가이드의 거의 모든 앱은 네 가지 엔진 중 하나의 프런트엔드이며, 엔진은 앱의 마케팅 문구보다 앱의 강점과 한계를 더 잘 설명합니다. 엔진을 알면 어떤 모델 파일이 동작하는지, NPU를 쓸 수 있는지, 데이터가 어디로 가는지 알 수 있습니다.

📍 한 문장으로

Android 온디바이스 AI 앱 대부분은 네 가지 주요 엔진 중 하나에서 실행됩니다. GGUF 파일용 llama.cpp, Gemma급 모델용 LiteRT-LM, 컴파일된 모델용 MLC, 시스템 Gemini Nano 모델용 Google AICore입니다.

💬 쉽게 말하면

엔진은 어떤 모델 파일을 불러올 수 있는지와 칩을 얼마나 쓰는지를 정하고, 앱은 사용이 얼마나 편한지를 정합니다.

llama.cpp

실행 대상:
Hugging Face의 GGUF 파일. 모델 선택 폭이 가장 넓고, 대부분의 앱이 자신의 파일을 가져올 수 있습니다.
가속:
기본은 CPU. 일부 앱은 GPU를 추가합니다. Qualcomm GenieX에는 Hexagon 백엔드가 있습니다.
예시 앱:
PocketPal AI, Maid, LM Playground, KernelAI
llama.cpp 관련 문서 (9개)

표시되지 않은 180개 더보기

LiteRT-LM

실행 대상:
Gemma 및 기타 모델을 .litertlm 파일로 실행하는 Google의 엣지 런타임이며, 비전과 오디오 입력, 함수 호출을 지원합니다. Google은 Gemma 4, Gemma 3n, Llama, Phi-4, Qwen 계열을 나열합니다.
가속:
GPU와 NPU 경로. Python, Kotlin, C++ API는 안정(stable)으로 표시되어 있습니다.
예시 앱:
Google AI Edge Gallery, OlliteRT, MemoryAI

MLC LLM

실행 대상:
하나의 타깃에 맞춰 미리 컴파일된 모델. 아무 파일이 아니라 엄선된 라이브러리를 사용합니다.
가속:
Android에서는 OpenCL GPU. 지원은 스마트폰마다 고르지 않은 것으로 보고됩니다(MLC Chat 리뷰 참고).
예시 앱:
MLC Chat, MLC LLM
MLC LLM 관련 문서 (7개)

기타 언급:

Gemini Nano를 쓰는 AICore

실행 대상:
Android가 관리하고 업데이트하는 Google의 시스템 모델. 앱은 ML Kit GenAI로 접근하므로 앱 안에서 내려받을 것이 없습니다.
가속:
지원 스마트폰이 제공하는 것 그대로. 앱은 하드웨어를 고를 수 없습니다.
예시 앱:
PAIOS

💡팁: 다른 엔진도 있습니다. Private Mind는 React Native ExecuTorch 라이브러리에서 실행되고, Ensu와 Atomic Chat은 자체 스택을 사용합니다. 위의 네 가지가 설치하게 될 앱 대부분을 포괄합니다.

Android가 iPhone보다 여지를 더 주는 부분

Android는 앱이 자체 모델과 엔진을 불러올 수 있다는 점에서 로컬 AI에 더 열려 있는 플랫폼입니다. 스토어 밖에서 앱을 설치하고, Linux 유저랜드를 실행하고, 스마트폰을 서버로 바꿀 수 있습니다. 그 대가는 파편화입니다. Galaxy 플래그십에서 동작하는 방법이 다른 브랜드의 중급 스마트폰에서는 실패할 수 있으며, 우리가 찾은 범위에서는 벤더 중립적인 단일 호환성 목록이 없습니다.

아래 모든 비교의 Apple 쪽은 iPhone의 로컬 AI를 읽으십시오. 두 거대 생태계를 나란히 보려면 Galaxy vs iPhone 온디바이스 AI를 참고하십시오.

📍 한 문장으로

Android는 iOS보다 사이드로드 APK, Termux, F-Droid, 스마트폰에서 호스팅하는 API 서버를 더 자유롭게 허용하지만, 그 대가로 브랜드와 칩에 따라 결과가 고르지 않습니다.

💬 쉽게 말하면

Android는 더 깊이 만져 볼 수 있게 하고, iPhone은 더 적은 기기에서 더 예측 가능한 결과를 줍니다.

  • 사이드로딩과 대체 스토어. MLC Chat은 개발사 GitHub 릴리스의 APK로 배포되고, Google AI Edge Gallery는 Google Play가 없는 사용자를 위한 APK를 제공합니다. 같은 앱이 여러 곳에 있을 수 있으므로 앱마다 출처를 하나로 유지하십시오.
  • Termux. F-Droid 또는 GitHub에서 설치할 수 있는 스마트폰의 실제 터미널로, 루팅 없이 llama.cpp를 빌드하고 실행할 수 있습니다. 또한 Android의 백그라운드 제한이 가장 강하게 작용하는 곳이기도 합니다(배터리 장 참고).
  • 서버가 되는 스마트폰. OlliteRT, Mobile LM Server, Ollama Local AI, ToolNeuron은 OpenAI 방식의 엔드포인트를 제공하여 네트워크의 다른 기기가 스마트폰의 모델을 사용할 수 있게 합니다.
  • 모델 선택. GGUF 가져오기는 Android 앱의 일반적인 기능이므로, 엄선된 목록뿐 아니라 개발자가 공개하는 거의 모든 작은 오픈 웨이트 모델을 불러올 수 있습니다.
  • 하드웨어의 다양성. RAM 16 GB 이상에 능동 냉각을 갖춘 게이밍 스마트폰은 우리가 비교한 iPhone보다 여유가 더 클 수 있습니다. 반대로 4 GB의 저가 스마트폰이 흔하며, 이런 기기는 로컬 AI 기기로 적합하지 않습니다.
  • iPhone이 더 단순한 부분. 하나의 벤더, 모델 등급별 하나의 메모리 예산, 더 적은 배터리 최적화 변수 덕분에 iPhone의 결과는 예측하기 더 쉽습니다. 유연성보다 예측 가능성이 중요하다면 자매 가이드가 더 맞을 수 있습니다.

디렉토리의 채팅 어시스턴트, 유형별

오프라인 채팅은 디렉토리에서 Android가 가장 폭넓게 지원하는 작업이며, 앱 선택은 대부분 절충을 고르는 일입니다. 오픈소스인지 클로즈드인지, 아무 GGUF 파일이나 되는지 엄선된 목록인지, 무료인지 유료인지입니다. 아래 각 줄은 앱이 하는 일과 솔직한 한계를 말합니다. 더 구체적인 작업에 맞는 앱은 해당 작업의 장에 다시 나옵니다.

가장 잘 알려진 앱의 속도와 설정 비교는 Android용 최고의 로컬 LLM 앱을 읽으십시오. 모델 선택은 모바일 LLM 모델: Phi-4, Gemma, SmolLM과 모바일 로컬 LLM 개요를 읽으십시오. 태블릿 사용자는 태블릿에서 AI 실행을 추가로 참고하십시오.

📍 한 문장으로

수십 개의 Android 앱이 스마트폰에서 채팅 모델을 실행합니다. 오픈소스 GGUF 러너는 모델 선택 폭이 가장 넓고, 클로즈드 소스 앱은 안내형 다운로드를 제공하며, Google AI Edge Gallery는 Gemma급 모델을 위한 Google 자체 프런트엔드입니다.

💬 쉽게 말하면

모델을 직접 고르고 싶다면 오픈소스 러너를, 5분 안에 동작하기를 원한다면 안내형 앱을 고르십시오.

오픈소스 및 개발사 제작 러너(여기서 시작)

  • PocketPal AI: Android와 iPhone용 무료 MIT 라이선스 GGUF 러너이며 계정이 필요 없습니다. 선택적 커뮤니티 마켓플레이스에서 프리미엄 프리셋을 판매합니다. 한계: 모델은 직접 골라야 하며 앱에 고정 RAM 하한이 없으므로 너무 큰 모델은 그냥 불러오기에 실패합니다.
  • Google AI Edge Gallery: LiteRT 기반 온디바이스 모델을 위한 Google의 무료 쇼케이스로, 채팅, 이미지 질문, 오디오 전사, 프롬프트 테스트를 제공합니다. Android 12 이상이 필요하며 Google Play 또는 APK로 설치합니다. 한계: Google은 이 앱을 실험적 베타로 표시합니다. App Store 개인정보 라벨에는 일부 기기 진단 정보가 나열되어 있습니다(iPhone 빌드에 대한 우리 리뷰 기준). 원격 측정 없음으로 간주하기 전에 Android 데이터 보안 카드를 확인하십시오.
  • Maid: MIT 라이선스이며, llama.cpp로 GGUF 모델을 실행하거나 자신의 키로 원격 제공자에 연결합니다. 코드베이스는 버전 3.0.0에서 React Native로 다시 작성되었으며 현재는 Android 전용 앱으로 배포됩니다. 한계: 이전 iOS 및 데스크톱 빌드는 사라졌으므로 오래된 튜토리얼은 맞지 않습니다.
  • Off Grid AI: 무료, MIT 라이선스, 계정 불필요이며 Android, iOS, macOS, Windows를 지원합니다. 한계: 개발사 사이트의 다운로드 수치는 자체 보고이며 앱 스토어와 교차 확인할 수 없었습니다.
  • Private Mind: Software Mansion이 만든 MIT 라이선스 앱으로, React Native ExecuTorch를 통해 모델을 실행하며 문서 Q&A, Whisper 받아쓰기, 내장 속도 벤치마크를 제공합니다. 한계: 버전 1.3.0부터 선택적 Web 토글이 인터넷에서 페이지를 가져오므로 엄격한 오프라인 사용에서는 꺼 두십시오.
  • Atomic Chat: Apache-2.0 라이선스이며 1,000개 이상의 Hugging Face 모델을 탐색하고, 로컬 OpenAI 호환 API를 제공하며, 에이전트를 지원합니다. 한계: 선택적 클라우드 제공자가 내장되어 있으므로 오프라인만 원한다면 켜진 것이 없는지 확인하십시오.
  • Ensu: Ente Labs 팀이 만든 AGPL-3.0 앱으로, 이미지 입력, 로컬 음성 받아쓰기를 지원하며 계정이 필요 없습니다. 한계: RAM이 4 GB 미만인 스마트폰에서는 채팅이 비활성화되며, PromptQuorum은 직접 테스트하지 않았습니다.
  • Llamatik: 개발자의 Kotlin Multiplatform SDK를 보여 주는 쇼케이스를 겸하는 MIT 라이선스 오프라인 챗봇이며, Android 버전은 2025년 11월에 Google Play에 올라왔습니다. 한계: 독립 개발자 한 명이 만든 신생 앱입니다.
  • LM Playground: 문서 Q&A, 비전 모델용 사진 입력, 추론 과정 표시, 선택적 도구를 갖춘 MIT 라이선스 GGUF 러너입니다. 한계: 독립 개발자이며 리뷰는 스토어 설명, 웹사이트, 저장소에 근거합니다.
  • MLC Chat: MLC 컴파일러 기반의 Apache-2.0 앱으로 GPU 가속 추론을 제공합니다. Google Play 등록이 아니라 개발사 GitHub 릴리스의 APK입니다. 한계: 엄선된 모델 라이브러리, 스마트폰마다 고르지 않은 OpenCL 지원, 마지막 업데이트 이후의 긴 공백입니다(조용한 앱 장 참고).

무료 소비자용 앱, 클로즈드 소스

  • KernelAI: 개발사에 따르면 오픈 모델 53개(112 MB에서 3.11 GB)를 내려받아 llama.cpp로 실행하며 문서와 비전을 지원합니다. 한계: 단일 게시자의 클로즈드 소스이므로 주장은 자사 페이지에 근거합니다.
  • MemoryAI: llama.cpp와 Google LiteRT로 모델을 실행하며 문서 Q&A, 편집 가능한 Agent Memory, 핸즈프리 음성, PIN 잠금 키즈 모드를 갖췄습니다. 한계: 클로즈드 소스이며 독립 개발자 한 명입니다.
  • Loci AI: 모델마다 llama.cpp 또는 MLX를 고르고, 스마트폰 온도를 관리하며, 채팅 간 메모리를 동기화합니다. 더 큰 모델을 위해 데스크톱에 연결할 수 있습니다. 한계: 클로즈드 소스이며, "비공개" 약속은 설정 후에도 앱이 오프라인을 유지하는지에 달려 있을 수 있습니다.
  • On Device LLM: GGUF 가져오기와 선택적 로컬 OpenAI 호환 API를 갖춘 무료 오프라인 채팅입니다. 한계: 신생 클로즈드 소스 앱이며, Google Play 제목은 "Local LLM"이고 이름이 비슷한 iPhone 앱과는 다릅니다.
  • LocalAI: Offline AI Chat LLM: 선택적 프리미엄 등급, 문서 채팅, 비전, 구조화된 출력을 갖춘 llama.cpp 채팅입니다. 한계: 클로즈드 소스이며 공개 저장소를 찾지 못했습니다.
  • Chatty-mini: 인디 개발자가 만든 세로 화면 중심의 GGUF 채팅입니다. 한계: 공개 문서가 부족하고 라이선스가 확인되지 않았습니다.
  • Caelum: 스마트폰에서 실행된다고 밝히는 무료 채팅 및 문서 어시스턴트로, Brave를 통한 선택적 웹 검색을 제공합니다. 한계: 2025년 8월 이후 업데이트가 없습니다. 조용한 앱 장을 참고하십시오.

컴패니언, 유료 앱, 기업 후원 앱

  • Layla: 로컬에서 실행되는 페르소나 및 롤플레이 컴패니언을 중심으로 만든 유료 앱입니다(일회성 구매와 인앱 등급). 한계: 클로즈드 소스에 가격이 있으며, 컴패니언이 먼저이고 유틸리티는 그다음입니다.
  • Laria: 내려받는 온디바이스 모델, 맞춤 AI 정체성, 이미지 도구, 선택적 클라우드 제공자를 갖춘 유료 Android 어시스턴트입니다. 한계: 클로즈드 소스이며, 우리 리뷰에 따르면 개발자 페이지에 노골적인 예시 콘텐츠가 있으므로 연령 등급 안내를 먼저 읽으십시오.
  • Secret AI: 맞춤 캐릭터, Skills, MCP 도구를 제공하며 GGUF, MNN, MLX 모델을 실행합니다. 한계: 클로즈드 소스이며, 같은 이름을 쓰는 다른 제품이 있으므로 설치 전에 게시자를 확인하십시오.
  • CompactifAI APP: Multiverse Computing의 앱으로, 오프라인용 압축 모델과 개발사 클라우드 API를 통한 더 큰 모델을 제공합니다. 한계: 클라우드 경로가 제품의 일부이므로 오프라인은 사용자가 선택하는 옵션입니다.
  • Liquid Apollo: Liquid AI의 작은 LFM2 모델을 기기에서 쓰는 앱으로, OpenRouter와 맞춤 백엔드도 지원합니다. 한계: 로컬 전용이 아니며, 클라우드와 맞춤 서버 모드는 프롬프트를 스마트폰 밖으로 보냅니다.
  • TokForge: 롤플레이 캐릭터, 이미지 생성, 음성, 문서 Q&A를 제공하며, 공개 리더보드에 올릴 수 있는 속도 벤치마크가 있습니다. 한계: 독점 소프트웨어이며 iPhone 버전은 공개 베타입니다.

시스템 모델: AICore를 통한 Gemini Nano

  • PAIOS: AICore로 실행되는 Gemini Nano용 무료 오픈소스 채팅 프런트엔드이며 앱 안에서 내려받는 모델이 없습니다. 한계: AICore가 Gemini Nano를 지원하는 스마트폰에서만 동작하며(Pixel 9과 10이 대표적 예), 프로젝트는 스스로를 알파로 표시합니다.

💡팁: 앱은 열 개가 아니라 두 개만 설치하십시오. 선택폭을 위한 오픈소스 GGUF 러너 하나(PocketPal AI 또는 Maid)와 Gemma 계열 모델용 Google AI Edge Gallery입니다. 다른 앱은 그 앱이 더 잘하는 작업이 있을 때만 추가하십시오.

⚠️경고: 위의 여러 앱은 신생이고, 클로즈드 소스이며, 설명 페이지만으로 검토했습니다. 기능 목록은 개발사의 주장이며, 직접 테스트하지 않은 앱은 PromptQuorum 리뷰에 명시되어 있습니다.

비전과 카메라 질문

카메라를 무언가에 대고 질문하는 기능은 오늘 온디바이스에서 동작하지만, 비전을 지원하는 모델이 있어야 합니다. 텍스트 전용 모델은 이미지를 조용히 무시하거나 거부합니다. 아래 앱은 비전 모델 또는 이미지 입력을 받는 모델을 불러오며, 품질은 앱이 아니라 모델이 정합니다.

Google의 ML Kit은 시스템 수준 옵션도 제공합니다. Prompt API는 텍스트와 최대 10개의 이미지를 받고, 전용 Image Description API는 이미지의 짧은 캡션을 만듭니다. 둘 다 지원 스마트폰에서 Gemini Nano로 실행됩니다. Google은 또한 Gemma 4가 차트 읽기와 손글씨 인식 같은 OCR 유형의 작업을 개선한다고 밝히지만, 독립적인 정확도 수치는 찾지 못했으므로 자신의 문서로 직접 테스트하십시오.

📍 한 문장으로

카메라 질문은 Google AI Edge Gallery, LM Playground, Private Mind 같은 앱의 비전 지원 모델을 통해, 그리고 지원 스마트폰의 Gemini Nano를 통해 Android에서 오프라인으로 실행됩니다.

💬 쉽게 말하면

비전 모델은 사진을 직접 읽고, 텍스트 전용 모델은 사진을 보지 못합니다. 그래서 앱보다 모델 선택이 더 중요합니다.

  • Google AI Edge Gallery: Ask Image 기능이 카메라나 갤러리의 이미지에서 물체를 식별하고, 시각 퍼즐을 풀고, 이미지를 설명합니다. 한계: 비전 지원 Gemma 모델이 필요하며, README에는 정확도 수치가 없습니다.
  • LM Playground: GGUF 형식의 비전 모델용 사진 입력. 한계: 비전 지원 GGUF와 프로젝터 파일을 직접 찾아 내려받아야 하며, 앱이 대신해 주지 않습니다.
  • Private Mind: 텍스트 모델과 함께 비전 지원 모델을 나열합니다. 한계: 더 큰 비전 모델은 앱 설명이 큰 모델에 권장하는 4 GB보다 더 많은 RAM이 필요할 수 있습니다.
  • LocalAI: Offline AI Chat LLM: Google Play 설명에 따르면 비전 지원 모델을 지원합니다. 한계: 클로즈드 소스이며 PromptQuorum의 리뷰는 스토어 설명에 근거합니다.
  • KernelAI: 기능 중 하나로 비전을 나열합니다. 한계: 주장은 개발자의 페이지에 근거합니다.
  • Ensu: 채팅에서 이미지 입력을 받습니다. 한계: 이미지 지원은 선택한 모델에 따라 달라집니다.

⚠️경고: 잘못 읽으면 문제가 되는 용도에는 온디바이스 비전 모델을 쓰지 마십시오. 약 라벨, 법률 문서, 안전 표지판이 그 예입니다. 작은 비전 모델은 글자와 숫자를 잘못 읽으며, 기댈 만한 검증된 정확도 수치가 없습니다.

음성: 받아쓰기, 전사, 읽어 주기, 어시스턴트

오프라인 받아쓰기와 전사는 Android에서 가장 성숙한 음성 작업이고, 항상 듣는 오프라인 어시스턴트는 가장 미성숙합니다. 앞의 두 가지는 Whisper 같은 음성 모델을 스마트폰에서 실행하며 사용자가 직접 시작합니다. 마지막은 Android가 마음대로 종료할 수 있는 백그라운드 서비스가 필요합니다.

Google의 ML Kit 음성 인식에는 문서에 따르면 API 레벨 31 이상의 대부분의 Android 기기에서 사용할 수 있는 기본 모드와, Pixel 10 스마트폰에서 쓸 수 있고 더 많은 기기를 개발 중인 고급 모드가 있습니다. ML Kit은 음성 번역과 텍스트 음성 변환도 나열하지만 개요 페이지에는 그 기기 요구 사항이 명시되어 있지 않으므로 기능 페이지를 확인하십시오.

오프라인 음성 전체 스택은 모바일 오프라인 음성 어시스턴트, 로컬 Whisper STT 비교, 로컬 음성 및 오디오 도구 비교, 로컬 음성 어시스턴트 만들기를 참고하십시오.

📍 한 문장으로

오프라인 받아쓰기와 녹음 전사는 Private Mind, Ensu, LLM Hub 같은 앱의 Whisper급 모델로 Android에서 동작하지만, 오프라인에서 항상 켜져 있는 음성 어시스턴트는 Android의 백그라운드 규칙 때문에 여전히 제한됩니다.

💬 쉽게 말하면

탭해서 시작하는 음성은 오프라인에서 동작하지만, 하루 종일 들어야 하는 음성은 배터리 제한과 앱 종료기에 부딪힙니다.

Private Mind

음성 작업:
스마트폰에서 Whisper로 받아쓰기
솔직한 한계:
언어와 정확도는 불러오는 Whisper 모델에 따라 달라집니다.
Private Mind 관련 문서 (3개)

기타 언급:

표시되지 않은 11개 더보기

Ensu

음성 작업:
채팅에 로컬 음성 받아쓰기
솔직한 한계:
PromptQuorum이 직접 테스트하지 않았으며 정확도 데이터가 없습니다.
Ensu 관련 문서 (2개)

기타 언급:

LM Playground

음성 작업:
음성 받아쓰기
솔직한 한계:
받아쓰기만 가능하며 음성 답변은 나열되어 있지 않습니다.
LM Playground 관련 문서 (1개)

LLM Hub

음성 작업:
채팅, 이미지, 번역과 함께 Whisper 전사
솔직한 한계:
비상업 라이선스의 소스 공개(source-available)이며 프리미엄 등급은 유료입니다.
LLM Hub 관련 문서 (2개)

기타 언급:

MemoryAI

음성 작업:
핸즈프리 음성 대화
솔직한 한계:
클로즈드 소스이며, 인식이 기기 안에서 이뤄지는지는 개인정보 처리방침에서 확인하십시오.
MemoryAI 관련 문서 (4개)

ToolNeuron

음성 작업:
음성 입력과 출력, 암호화 저장소
솔직한 한계:
3개월 넘게 업데이트가 없습니다. 조용한 앱을 참고하십시오.
ToolNeuron 관련 문서 (4개)

기타 언급:

TokForge

음성 작업:
음성 복제가 있는 텍스트 음성 변환
솔직한 한계:
독점 소프트웨어이며, 음성 복제는 동의와 사칭 문제를 낳습니다.
TokForge 관련 문서 (2개)

RunAnywhere

음성 작업:
자신의 앱에 음성-텍스트, 텍스트-음성, 음성 활동 감지를 넣는 SDK
솔직한 한계:
앱이 아니라 개발자용 라이브러리이며 상업 조건이 적용됩니다.
RunAnywhere 관련 문서 (1개)

기타 언급:

Home Assistant Assist

음성 작업:
자신의 하드웨어에서 Whisper와 Piper로 집 음성 제어
솔직한 한계:
음성 모델은 스마트폰이 아니라 홈 서버에서 실행됩니다.
Home Assistant Assist 관련 문서 (2개)

AquaVoice

음성 작업:
활성 앱에 입력해 주는 빠른 받아쓰기
솔직한 한계:
클라우드 서비스입니다. 로컬로 오해하지 않도록 여기에 포함했습니다.
AquaVoice 관련 문서 (2개)

기타 언급:

⚠️경고: 음성 복제와 상시 녹음은 기능이기 전에 개인정보와 동의의 문제입니다. 자신의 목소리나 서면 허락을 받은 목소리만 복제하고, 사람들을 녹음할 때는 알리십시오.

문서, PDF, RAG

Android의 문서 Q&A는 파일을 청크로 나누고, 관련된 청크를 찾아, 그것만 작은 모델에 넘기는 방식으로 동작합니다. 이것이 검색 증강 생성(RAG)입니다. 컨텍스트 윈도우가 너무 짧은 작은 모델에 PDF 전체를 붙여 넣는 것보다 낫습니다.

Gemini Nano Prompt API는 입력을 약 4,000 토큰 미만(영어로 대략 3,000 단어)으로 제한하므로, 시스템 수준의 문서 질문에도 청킹이 필요합니다. 방법의 자세한 내용은 PDF에 로컬 RAG 적용하기, 단계별과 최고의 로컬 RAG 도구를 읽으십시오.

📍 한 문장으로

AnythingLLM Mobile, Private Mind, LM Playground, Honey LLM 같은 Android 앱은 작은 모델을 위해 관련 청크를 검색하는 방식으로 스마트폰에서 파일에 대한 질문에 답합니다.

💬 쉽게 말하면

앱이 문서에서 알맞은 문단을 찾아 그것만 모델에 넘기므로, 작은 모델도 긴 파일에 대한 질문에 답할 수 있습니다.

  • AnythingLLM Mobile: MIT 라이선스, Android 전용입니다. 독립 실행 모드는 스마트폰에서 작은 모델과 로컬 벡터 데이터베이스를 실행하고, 연결 모드는 QR 코드로 AnythingLLM Desktop 또는 Cloud와 페어링해 전체 기능을 제공합니다. 한계: 독립 실행 품질은 작은 모델의 품질이며, 페어링이 더 얻는 방법입니다.
  • Private Mind: 출처 인용이 있는 온디바이스 문서 Q&A. 한계: 인용은 답이 어디에서 왔는지를 보여 줄 뿐 답이 옳다는 뜻은 아닙니다.
  • LM Playground: 무료 MIT 앱의 온디바이스 문서 Q&A. 한계: 독립 개발자이며, 의존하기 전에 리뷰에서 지원 파일 형식을 확인하십시오.
  • Honey LLM: PDF, DOCX, TXT, Markdown 파일에 대한 질문에 답하고 암호화된 로컬 보관함을 유지합니다. 한계: 2026년 3월부터 Google Play에 있는 신생 앱이며 우리 리뷰는 스토어 설명에 근거합니다.
  • LocalAI: Offline AI Chat LLM: 온디바이스 벡터 검색으로 PDF, Word, Excel, CSV 문서 채팅을 제공합니다. 한계: 클로즈드 소스이며 리뷰는 스토어 설명에 근거합니다.
  • ToolNeuron: 암호화 저장, 음성, 로컬 HTTP 서버, 플러그인을 갖춘 문서 RAG. 한계: 3개월 넘게 업데이트가 없습니다.
  • MemoryAI: 문서 Q&A와 편집할 수 있는 Agent Memory. 한계: 클로즈드 소스입니다.
  • Caelum: 선택적 웹 검색이 있는 문서 질문. 한계: 2025년 8월 이후 업데이트가 없으며, 웹 검색 옵션은 쿼리를 온라인으로 보냅니다.

💡팁: 큰 아카이브는 스마트폰에서 색인하지 마십시오. 원격 모드 장에서 설명하듯 컴퓨터나 서버에서 색인을 실행하고 스마트폰은 클라이언트로 쓰십시오.

번역

Android의 오프라인 번역은 일반적인 언어 쌍에서 작은 모델로 동작하며, 드문 언어와 긴 텍스트에서는 품질이 떨어집니다. Google은 Gemma 4가 140개 이상의 언어를 기본 지원한다고 밝히고 ML Kit GenAI API 중에 음성 번역을 나열합니다. 두 주장 모두 우리가 검증할 수 있는 정확도 수치가 없으므로, 의존하기 전에 자신의 언어 쌍으로 테스트하십시오.

📍 한 문장으로

LLM Hub와 Google AI Edge Gallery 같은 Android 앱은 스마트폰에서 텍스트와 녹음을 번역하며, ML Kit은 지원 기기에서 음성 번역을 추가합니다.

💬 쉽게 말하면

작은 모델은 일상적인 문장은 잘 번역하지만 드문 언어, 관용구, 법률 표현에서는 어려움을 겪습니다.

  • LLM Hub: 채팅 옆에서 제공되는 온디바이스 번역, MCP 서버가 있는 에이전트, 이미지 및 음악 생성, Whisper 전사. 한계: 비상업 라이선스의 소스 공개이며 프리미엄 등급은 유료입니다.
  • Google AI Edge Gallery: Audio Scribe 기능이 음성 녹음을 기기에서 전사하고 번역합니다. 한계: 실험적 베타입니다.
  • Local AI Mail: 온디바이스 모델로 메일을 요약, 번역하고 답장 초안을 작성하는 Android 이메일 클라이언트이며, 자신의 키로 Gemini로 전환할 수 있습니다. 한계: 매우 초기 릴리스이며, 선택적 Gemini 모드는 메일 텍스트를 Google에 보냅니다.

⚠️경고: 계약서, 의료 문서, 오역이 결과를 낳는 모든 문서는 작은 로컬 모델에 의존하지 마십시오. 요지 파악과 초안에 쓰고 나서 검증하십시오.

이미지 생성과 편집

스마트폰에서의 이미지 생성은 가능하지만 데스크톱 GPU에 비하면 느리며, 칩별 튜닝이 가장 중요한 작업입니다. Samsung과 Nota AI는 Exynos 2600 NPU에서 512×512 이미지를 1초 미만에 생성하는 Stable Diffusion 변형 EdgeFusion을 설명합니다(Samsung과 협력사의 주장이며 우리 Galaxy S26 가이드에 인용됨). 이는 벤더가 튜닝한 파이프라인이며, 아래의 사이드로드 앱에 대한 검증된 속도는 찾지 못했으므로 제시하지 않습니다.

클라우드와 로컬의 절충 일반에 대해서는 로컬 AI 이미지 생성 vs 클라우드를 참고하십시오. 인페인팅 같은 편집 도구는 스마트폰에서 텍스트-이미지 변환보다 드뭅니다.

📍 한 문장으로

TokForge, Local AI by GeetMark, Laria, LLM Hub 같은 Android 앱은 온디바이스 모델로 이미지를 생성하지만, 우리가 찾은 어떤 출처도 이 앱들의 검증된 생성 시간을 공개하지 않습니다.

💬 쉽게 말하면

스마트폰은 인터넷 없이 그림을 그릴 수 있지만, 그래픽 카드가 있는 컴퓨터보다 훨씬 오래 기다려야 합니다.

  • Local AI: Offline Chat and Image: 무료이며 20개 이상의 모델로 채팅, Stable Diffusion 이미지, 15개의 프롬프트 툴킷을 제공합니다. 한계: 광고가 있으며 소스 코드와 라이선스가 공개되어 있지 않습니다.
  • TokForge: 온디바이스 이미지 생성, 음성, 문서 Q&A를 갖춘 롤플레이 캐릭터. 한계: 독점 소프트웨어이며 속도 결과를 공개 리더보드에 올릴 수 있으므로 벤치마크가 무엇을 공유하는지 확인하십시오.
  • Laria: 로컬 및 클라우드 채팅과 함께 제공되는 이미지 도구. 한계: 유료이며 일부 이미지 도구는 클라우드 제공자를 쓸 수 있으므로 도구마다 확인하십시오.
  • LLM Hub: 채팅 및 번역과 같은 앱 안의 이미지 및 음악 생성. 한계: 비상업 소스 공개 라이선스입니다.

💡팁: 발열이 현실적인 한계입니다. 이미지를 연달아 몇 장 생성하면 스마트폰이 느려질 만큼 뜨거워질 수 있습니다. 짧게 나누어 생성하고 식히십시오.

노트, 지식, 북마크

노트와 북마크 앱은 자신의 서버나 일반 파일에 있는 지식을 위한 모바일 클라이언트를 제공하며, AI 기능은 가리키는 곳 어디에서든 실행됩니다. 아래 앱 중 Android 앱 자체 안에서 언어 모델을 실행하는 것은 없습니다. 선택한 AI 제공자에 연결하며, 이는 네트워크의 로컬 Ollama 서버일 수도 클라우드 서비스일 수도 있습니다. 즉 저장은 로컬 우선이지만 추론이 반드시 로컬인 것은 아닙니다.

📍 한 문장으로

Karakeep, Linkwarden, Blinko, Logseq, SiYuan, Hillnote의 Android 클라이언트는 노트와 북마크를 자신이 통제하게 해 주며, AI 기능은 설정한 서버나 제공자에서 실행됩니다.

💬 쉽게 말하면

이 앱들은 지식을 로컬에 저장하며, 이를 태그하거나 요약하는 AI 모델도 로컬일 수 있지만 그렇게 설정했을 때만 그렇습니다.

  • Karakeep: AGPL-3.0, Docker로 셀프 호스팅하며 링크, 노트, 이미지, PDF를 저장하고 AI로 태그, 요약, 색인합니다. Android와 iOS 앱, 브라우저 확장 프로그램이 있습니다. 한계: AI 태그에는 설정한 모델 엔드포인트가 필요합니다.
  • Linkwarden: 각 페이지의 사본을 저장하고 로컬 Ollama 모델 또는 클라우드 제공자로 링크에 태그를 붙일 수 있는 AGPL-3.0 북마크 관리자입니다. 한계: Cloud 에디션은 유료이며 셀프 호스팅은 직접 해야 합니다.
  • Blinko: GPL-3.0, 셀프 호스팅 노트 앱으로 Docker 컨테이너로 실행하며 자신의 노트에 대한 RAG 기반 자연어 검색을 제공합니다. 한계: RAG 검색은 연결한 AI 제공자를 사용합니다.
  • Logseq: AGPL-3.0, Android 및 iOS 앱이 있는 로컬 우선 아웃라이너입니다. 내장 모델은 없으며, 데이터베이스 버전 베타에는 외부 AI 클라이언트가 그래프를 읽고 편집할 수 있는 선택적 MCP 서버가 추가됩니다. 한계: AI는 직접 가져와야 하며 MCP 서버는 베타입니다.
  • SiYuan: Android 및 iOS 앱과 내장 AI 에이전트 협업 기능이 있는 AGPL-3.0 블록 단위 지식 작업 공간입니다. 한계: 암호화 클라우드 동기화는 유료 추가 기능이며, AI 기능이 로컬이라고 가정하기 전에 어디에서 실행되는지 확인하십시오.
  • Hillnote: Mac, Windows, iPhone, iPad, Android용 Markdown 노트 작업 공간으로 파일을 자신의 디스크에 저장합니다. 온디바이스 AI로 Ollama와 Apple Intelligence가 나열되어 있는데, 둘 다 Android 스마트폰에서 실행되지 않으므로 구매 전에 Android 앱이 실제로 제공하는 AI 기능을 확인하십시오.

💡팁: 좋은 패턴은 노트 앱과 작은 Ollama 모델을 홈 서버에 셀프 호스팅하고, Android 앱을 캡처 및 검색 클라이언트로 쓰는 것입니다.

스마트홈과 에이전트

스마트홈에서 스마트폰은 리모컨이자 마이크이고, 에이전트에서는 에이전트를 실행하는 곳이면서 점점 더 에이전트가 제어하는 대상이 되고 있습니다. 스마트홈 AI는 홈 서버에 두어야 합니다. 스마트폰은 잠들고, 움직이고, 종료되기 때문입니다. Android의 에이전트는 세 가지로 나뉩니다. 도구를 쓰는 어시스턴트, 서버에 살면서 스마트폰을 클라이언트로 쓰는 에이전트, 스마트폰 자체를 조작하는 에이전트입니다.

스마트홈 쪽을 자세히 보려면 PromptQuorum 스마트홈 클러스터를 참고하십시오. 이 장에서는 스마트폰이 하는 일을 다룹니다.

📍 한 문장으로

Android 스마트폰은 스마트홈 AI(Home Assistant Assist, Scrypted, EverShelf, LocalGhost)의 클라이언트로 동작하고 도구를 쓰는 에이전트(Kai 9000, PicoClaw, Aori)를 실행할 수 있지만, 다른 앱에 대한 시스템 수준 제어는 아직 프리뷰입니다.

💬 쉽게 말하면

홈 서버가 두뇌가 되게 하고, 스마트폰은 리모컨과 마이크가 되게 하십시오.

스마트홈 클라이언트로서의 스마트폰

  • Home Assistant Assist: Home Assistant 안의 음성 어시스턴트입니다. 인식에 Whisper 또는 Speech-to-Phrase, 음성 출력에 Piper를 Wyoming 프로토콜로 사용해 자신의 하드웨어에서 완전히 실행할 수 있으며, Ollama로 제공되는 것 같은 LLM에 요청을 넘길 수 있습니다. Android 앱은 마이크와 화면입니다. 한계: 음성 및 언어 모델은 스마트폰이 아니라 홈 서버에서 실행됩니다.
  • Scrypted: Android 및 iOS 뷰어 앱이 있는 오픈소스 카메라 및 NVR 플랫폼이며, 서버에서 llama.cpp를 통한 선택적 로컬 LLM 요약을 제공합니다. 한계: NVR 구성 요소는 유료이며 AI는 Scrypted가 실행되는 곳에서 실행됩니다.
  • EverShelf: 바코드 스캔, 유통기한 추적, 쇼핑 목록을 갖춘 셀프 호스팅 식료품 관리자이며, AI 기능은 선택 사항으로 Gemini, OpenAI 또는 자신의 Llama 서버를 사용합니다. 한계: 채팅이나 LLM 앱이 아니며, 선택적 클라우드 제공자는 보낸 내용을 봅니다.
  • LocalGhost: 자신이 소유한 Debian 머신 위의 MIT 라이선스 개인 AI 시스템이며, Android 앱이 유일한 클라이언트로 로컬 모델로 사진, 노트, 음성 메모, 건강 데이터를 읽습니다. 한계: 매우 초기 단계(검토한 릴리스는 v0.0.7)이며 건강 데이터는 민감하므로 실험으로 취급하십시오.

도구를 쓰는 에이전트

  • Kai 9000: Android, iOS, 데스크톱, 웹에서 영속 메모리와 도구를 갖춘 Apache-2.0 어시스턴트입니다. 기본적으로 클라우드 제공자와 통신하며, 선택적으로 Gemma 4를 포함해 내려받은 모델을 기기에서 실행할 수 있습니다. 한계: 기본값은 클라우드이므로 의도적으로 온디바이스로 전환하십시오.
  • PicoClaw: Sipeed가 만든 MIT 라이선스 에이전트로, 소형 보드, Android 스마트폰, 데스크톱에서 동작하는 단일 Go 프로그램이며 설정한 모델(클라우드 제공자 또는 자신의 Ollama나 vLLM 서버)로 요청을 전달합니다. 한계: 모델은 스마트폰에 있지 않습니다.
  • Aori: 영속 메모리, 페르소나, 예약 루틴을 갖춘 데스크톱 및 Android용 무료 베타 개인 에이전트입니다. 한계: Android 앱은 연결한 제공자에 프롬프트를 보내며, 3개월 넘게 조용합니다(조용한 앱 참고).
  • Atomic Bot: 오픈소스 OpenClaw 에이전트 스택을 로컬 또는 개발사의 유료 클라우드에서 원클릭으로 패키징한 것입니다. 한계: 디렉토리는 모바일로 나열하지만 우리 리뷰에서는 개발사 사이트에 문서화된 Android 빌드를 찾지 못했으므로 계획하기 전에 확인하십시오.

스마트폰을 조작하는 에이전트

  • Android AppFunctions는 앱이 Gemini 같은 에이전트가 호출할 수 있는 함수를 노출하게 합니다. Google은 이를 Android 16 이상용 Jetpack 라이브러리가 있는 플랫폼 API로 문서화하며, 우리가 읽은 자료들은 제한적 프리뷰인지 비공개 프리뷰인지에서 엇갈리므로 일반 제공 전인 것으로 보십시오. MCP 도구의 온디바이스 대응물이며 앱 개발자가 동의해야 합니다.
  • ML Kit AgentRunner는 개발자에게 Gemini Nano Prompt API 위의 다단계 도구 호출 루프를 제공하므로, 앱이 작은 에이전트를 전적으로 스마트폰에서 실행할 수 있습니다. Prompt API와 같은 한계가 따릅니다. 포그라운드 전용, 지원 스마트폰 전용입니다.
  • Open-AutoGLM은 Zhipu 팀의 오픈소스 스마트폰 에이전트 프레임워크(zai-org/Open-AutoGLM)로, 컴퓨터에서 실행되며 ADB를 통해 Android 스마트폰을 조작하고 비전-언어 모델이 화면을 읽습니다. 모델은 원격 API일 수도 로컬로 제공되는 모델일 수도 있으며, 에이전트 자체는 스마트폰에 있지 않습니다. 라이선스와 모델 카드는 직접 확인하십시오. 우리가 본 자료들은 서로 달랐습니다.

⚠️경고: 탭하고, 입력하고, 화면을 읽을 수 있는 에이전트는 본 것을 유출할 수도 있습니다. 스마트폰을 조작하는 에이전트는 테스트용 스마트폰이나 업무용 프로필에서 실행하고, 은행 앱이 있는 스마트폰에서는 절대 실행하지 마십시오.

개발자 경로

Android에는 온디바이스 AI로 가는 길이 많고, 어떤 길을 고를지는 시스템 통합, 모델 선택, NPU 중 무엇이 필요한지에 달려 있습니다. 표는 경로를 비교하며, 그 뒤의 메모는 사람들에게 가장 큰 시간 손실을 입히는 주의점을 알려 줍니다.

📍 한 문장으로

개발자는 Google ML Kit GenAI와 Gemini Nano, LiteRT와 LiteRT-LM, Termux 또는 NDK를 통한 llama.cpp, MLC LLM, ExecuTorch, Qualcomm GenieX, 또는 RunAnywhere와 Llamatik 같은 SDK로 Android를 겨냥할 수 있습니다.

💬 쉽게 말하면

충분하다면 Google의 시스템 모델을, NPU가 필요하면 Google 또는 Qualcomm 런타임을, 아무 GGUF 모델이나 쓰고 싶다면 llama.cpp를 사용하십시오.

검토한 개발자 도구

  • RunAnywhere: 기기에서 실행되는 LLM, 음성-텍스트, 텍스트-음성, 음성 활동 감지, 비전-언어 모델, 임베딩용 SDK이며 iOS, Android, Flutter, React Native 앱을 지원합니다. 한계: 상업 조건이 있는 Apache-2.0 기반 라이선스입니다.
  • Llamatik: 같은 이름의 오프라인 챗봇 뒤에 있는 Kotlin Multiplatform SDK. 한계: 독립 개발자 한 명입니다.
  • Foundry Local: C#, JavaScript, Rust, Python SDK가 있는 Microsoft의 온디바이스 런타임. 한계: 리뷰는 데스크톱 SDK를 문서화하며 Android 빌드는 없습니다.
  • MLC LLM: MLC Chat 뒤의 컴파일러와 런타임으로 iPhone, Android, 브라우저(WebGPU), 데스크톱 GPU를 겨냥합니다. 한계: 모델과 타깃마다 컴파일 단계가 필요합니다.
  • OlliteRT: Google LiteRT-LM에서 Android 스마트폰을 OpenAI 호환 서버로 바꾸며 자체 채팅 인터페이스는 없습니다. 한계: GGUF가 아니라 .litertlm 모델 파일이 필요합니다.
  • Mobile LM Server: GGUF 및 LiteRT-LM 모델을 실행하고 OpenAI 및 Ollama 호환 엔드포인트로 제공합니다. 한계: 광고와 인앱 구매가 있으며, 우리 리뷰는 설명 페이지에 근거하고 그 리뷰에 따르면 개인정보 처리방침과 데이터 보안 카드가 위치에 대해 서로 다르다고 지적했습니다.
  • Ollama Local AI: 내장 llama.cpp 엔진으로 GGUF 모델을 실행하고 Wi-Fi에 OpenAI 호환 API를 제공하여 Cursor 같은 도구가 스마트폰을 쓸 수 있게 합니다. 한계: Ollama 프로젝트의 앱이 아니며 인앱 구매가 있는 무료 앱입니다.

ML Kit GenAI와 Gemini Nano(AICore)

적합한 용도:
대신 업데이트되는 시스템 모델에서의 요약, 문장 다듬기, 이미지 설명, Prompt API. AgentRunner와 Embedding API 포함. Prompt API 입력은 약 4,000 토큰 미만.
주요 한계:
포그라운드 전용, 앱별 할당량, 지원 스마트폰 전용, 부트로더 잠금 해제 시 미지원(Prompt API).

Gemma 4가 있는 AICore Developer Preview

적합한 용도:
ML Kit Prompt API를 통해 Gemma 4 E2B와 E4B를 시험. 지금 작성한 코드는 Gemini Nano 4 기기로 이어지도록 의도됨.
주요 한계:
프리뷰이며 Google은 도구 호출, 구조화된 출력, 시스템 프롬프트, 사고 모드가 아직 추가 중이라고 밝혔습니다.

LiteRT와 LiteRT-LM

적합한 용도:
Gemma, Llama, Phi-4, Qwen 계열이 있는 자체 앱, GPU 및 NPU 가속, 비전과 오디오 입력, 함수 호출.
주요 한계:
NPU는 칩별로 컴파일된 모델이 필요하며 Swift와 JavaScript는 초기 프리뷰입니다.

Qualcomm AI Hub와 GenieX

적합한 용도:
Snapdragon 8 Elite와 8 Elite Gen 5, Hexagon 백엔드가 있는 llama.cpp를 통한 GGUF 또는 AI Engine Direct를 통한 사전 컴파일 AI Hub 번들.
주요 한계:
Snapdragon 전용이며, AI Hub 경로에서 Android 런타임은 기본값이 아닌 GPU 레이어 및 컨텍스트 설정을 거부합니다.

LiteRT를 통한 MediaTek NeuroPilot

적합한 용도:
사전 컴파일된 Gemma 및 Qwen3 모델이 있는 Dimensity NPU.
주요 한계:
MediaTek용 맞춤 Gemma 변환은 아직 제공되지 않았습니다.

Google Tensor SDK

적합한 용도:
LiteRT를 통한 Pixel 10 TPU, 100개 이상의 모델이 있는 Model Garden.
주요 한계:
베타이며 Pixel 10 계열 전용입니다.

Termux 또는 NDK의 llama.cpp

적합한 용도:
CPU에서 아무 GGUF 모델, 루팅 불필요. 일회성 프로토타입 또는 CLI.
주요 한계:
Android 프로세스 제한과 발열. 컨텍스트를 4096 근처에서 시작하지 않으면 터미널이 종료될 수 있습니다.

MLC LLM

적합한 용도:
GPU 가속으로 하나의 타깃에 맞춰 모델 컴파일.
주요 한계:
컴파일 툴체인, OpenCL 지원은 스마트폰마다 다릅니다.
MLC LLM 관련 문서 (7개)

기타 언급:

ExecuTorch

적합한 용도:
PyTorch에서 Android로 내보내기. LLM과 CPU, GPU, NPU, DSP 백엔드를 다룬다고 나열되어 있습니다.
주요 한계:
개요 페이지에서 정확한 백엔드 목록이나 상태를 확인하지 못했습니다.

SDK: RunAnywhere, Llamatik, Foundry Local

적합한 용도:
자신의 앱에 음성, 비전, LLM 기능(RunAnywhere), Kotlin Multiplatform(Llamatik), C#, JavaScript, Rust, Python SDK가 있는 Microsoft 런타임(Foundry Local).
주요 한계:
Foundry Local은 디렉토리에 Android로 나열되어 있지만 리뷰에는 문서화된 Android 빌드가 없으므로 사용 전에 확인하십시오.

💡팁: 개발사 페이지를 읽으십시오: ML Kit GenAI 개요, Gemini Nano와 AICore, LiteRT-LM, Qualcomm AI Hub, Termux, llama.cpp Android 가이드.

원격 모드: 스마트폰을 씬 클라이언트로

가장 유능한 "Android 로컬 AI" 구성은 흔히 자신의 컴퓨터에 있는 모델과 통신하는 스마트폰입니다. 모델은 Ollama나 LM Studio가 있는 컴퓨터에서 실행되고 스마트폰은 인터페이스입니다. 트래픽이 자신의 네트워크(또는 VPN) 안에 머물므로 프라이버시를 지키고, 스마트폰 RAM을 건드리지 않고 7B~70B급 모델을 쓸 수 있습니다.

세 가지 주의점이 있습니다. 첫째, 서버가 켜져 있고 접근 가능해야 하므로 WireGuard나 Tailscale 같은 VPN을 추가하지 않으면 집 밖에서는 구성이 실패합니다. 둘째, Ollama는 기본적으로 로컬 머신에서만 수신하며, 호스트 주소를 설정하는 등으로 네트워크에 노출하면 내장 로그인이 없으므로 그 네트워크의 누구나 접근할 수 있게 됩니다. 인증이 있는 리버스 프록시나 VPN을 사용하십시오. 셋째, 같은 앱 안의 클라우드 API 키는 다른 데이터 경로이므로 로컬과 클라우드 프로필을 명확히 분리하십시오.

📍 한 문장으로

LocalMind, PocketLLM Lite, AnythingLLM Mobile, AnyLLM, RikkaHub 같은 Android 앱은 스마트폰이 네트워크의 자신의 Ollama 또는 LM Studio 서버에 대한 클라이언트로 동작하게 합니다.

💬 쉽게 말하면

스마트폰은 화면과 키보드이고, 무거운 생각은 집의 컴퓨터에서 이뤄집니다.

  • LocalMind: Android와 iPhone용 무료 MIT 라이선스 채팅 앱으로, 스마트폰의 모델 또는 Ollama, LM Studio, OpenRouter, 모든 OpenAI 호환 엔드포인트에 프롬프트를 보내며 MCP 도구를 지원합니다. 한계: 독립 개발자이며, 원격 경로는 선택한 엔드포인트에 텍스트를 보냅니다.
  • PocketLLM Lite: 스마트폰에서 Cactus 형식 모델을 실행하거나 자신의 Ollama 또는 OpenAI 호환 서버에 연결하는 MIT 라이선스 Android 앱입니다. 한계: 개발자 이름이 없으며 PromptQuorum은 설치해 보지 않았습니다.
  • AnythingLLM Mobile: 연결 모드는 QR 코드로 로컬 네트워크를 통해 AnythingLLM Desktop 또는 Cloud와 페어링합니다. 한계: Android 전용입니다.
  • AnyLLM: 자신의 API 키(OpenAI, Anthropic, Google, Groq)용 Android 클라이언트이며 Ollama 서버도 연결할 수 있고, MCP 도구와 AI 대 AI 토론을 제공합니다. 한계: 클로즈드 소스이며 클라우드 키를 쓰면 프롬프트가 네트워크를 벗어납니다.
  • RikkaHub: 클라우드 제공자용 오픈소스 Android 클라이언트로, 사용자 지정 엔드포인트 필드로 셀프 호스팅 Ollama 또는 LM Studio 서버에 접근할 수 있습니다. 한계: 스마트폰에서 모델을 실행하지 않으므로 그 자체로는 오프라인 앱이 아닙니다.
  • Chapper: 잘 만든 Ollama 및 LM Studio 클라이언트이지만 Apple 전용입니다(iPhone, iPad, Mac). 한계: Android 버전이 없으므로 Android 사용자는 위의 앱 중 하나를 쓰십시오.

💡팁: 스마트폰이 서버가 될 수도 있습니다. OlliteRT, Mobile LM Server, Ollama Local AI는 모델을 Wi-Fi의 다른 기기에 제공하며, 테스트와 간단한 스크립트에는 유용하지만 실제 서버의 대체품은 아닙니다.

개인정보와 원격 측정의 현실

온디바이스 추론은 프롬프트를 벤더의 추론 서버로 보내지 않게 하지만, 그것만으로 앱이 다른 곳으로 데이터를 보내지 못하게 하지는 않습니다. "원격 측정 없음(zero telemetry)"은 분석 SDK 없음, 충돌 보고서 없음, 광고 없음, 모델 다운로드 후 네트워크 호출 없음을 뜻할 수도, 그중 일부만 뜻할 수도 있습니다. 앱마다 다르며, 직접 확인하지 않는 한 그 주장은 개발사의 것입니다.

확인할 곳은 세 가지입니다. Google Play 데이터 보안 카드는 개발자가 수집하거나 공유한다고 밝힌 내용을 나열하며 개발자가 직접 선언한 것입니다. 개인정보 처리방침은 회사가 데이터로 무엇을 하는지를 말하며, 설명 페이지에 근거한 Mobile LM Server 리뷰는 방침과 카드가 위치에 대해 서로 다르다고 지적했습니다. 네트워크 동작 자체는, 모델 다운로드 이후의 연결을 보여 주는 방화벽이나 네트워크 모니터가 가장 직접적인 테스트입니다.

Google의 AICore 설계는 유용한 기준점입니다. Google은 AICore에 직접적인 인터넷 접근이 없고, 모델 다운로드는 오픈소스 Private Compute Services 컴패니언을 통해 이뤄지며, 처리 후 입력이나 출력을 저장하지 않는다고 문서화합니다. 이는 독립적인 감사가 아니라 Google이 자사 시스템을 설명한 것입니다. 다른 엔진 기반 앱은 각자 약속을 합니다. 예를 들어 ToolNeuron은 README에서 설계 목표로 "원격 측정 없음"을 밝히는 반면, Google AI Edge Gallery의 iPhone 빌드 리뷰에서는 개인정보 라벨에서 진단 정보가 확인되었습니다.

📍 한 문장으로

오프라인 추론은 프롬프트를 스마트폰에 머물게 하지만, "원격 측정 없음(zero telemetry)"은 데이터 보안 카드, 개인정보 처리방침, 앱의 실제 네트워크 트래픽에서 확인해야 합니다.

💬 쉽게 말하면

스마트폰에서 모델을 실행하면 입력한 내용은 보호되지만, 앱이 인터넷과 통신하지 않는다는 약속은 아닙니다.

데이터 보안 카드

위치:
Google Play 설명
알 수 있는 것:
개발자가 선언한 데이터 수집 및 공유이며 불완전하거나 오래되었을 수 있습니다.

개인정보 처리방침

위치:
개발자 웹사이트
알 수 있는 것:
보관, 제3자, 관할권, 그리고 방침이 카드와 일치하는지 여부.

권한

위치:
Android 설정, 앱 정보
알 수 있는 것:
순수 로컬 앱에는 필요하지 않아야 할 마이크, 카메라, 저장소 또는 네트워크 접근.

선택적 클라우드 기능

위치:
앱 설정
알 수 있는 것:
데이터 경로를 조용히 넓히는 웹 검색, 클라우드 제공자, 동기화 토글.

네트워크 트래픽

위치:
비행기 모드 테스트 또는 방화벽 앱
알 수 있는 것:
다운로드 후 모든 네트워크 접근을 막고도 채팅이 동작하는지 여부.

소스 코드

위치:
GitHub 또는 F-Droid
알 수 있는 것:
주장을 감사할 수 있는지 여부. 클로즈드 소스의 주장은 신뢰에 의존합니다.

💡팁: 비행기 모드 테스트는 간단하고 정직합니다. Wi-Fi에서 모델을 내려받고, 비행기 모드를 켠 뒤 채팅하십시오. 앱이 동작을 거부하면 네트워크가 필요한 것입니다. 동작하더라도 이전에 데이터를 보냈을 수 있으므로 권한 및 방침 확인과 함께 보십시오.

⚠️경고: Obscurify는 Android에서 쓸 수 있고 프라이버시를 내세우지만 클라우드 서비스입니다. 무작위 계정 번호 뒤에서 200개 이상의 클라우드 모델에 접근하며, 브라우저에서 GGUF 모델을 실행하는 선택적 로컬 모드가 있습니다. 익명 클라우드는 로컬 AI가 아니며, AquaVoice는 클라우드 받아쓰기입니다. 각 도구가 선의 어느 쪽에 있는지 알아 두십시오.

배터리, 발열, 백그라운드 종료

스마트폰의 로컬 AI는 모델보다 먼저 세 가지에 의해 제한됩니다. 발열, 배터리, 그리고 백그라운드 작업을 종료하는 Android의 습성입니다. 세 가지 모두 모델이 클수록, 세션이 길수록 나빠지며 사양표에는 나타나지 않습니다.

📍 한 문장으로

Android에서 지속적인 로컬 추론은 스마트폰을 뜨겁게 하고 배터리를 소모시키며, 시스템이나 브랜드의 배터리 관리자가 예외로 지정하지 않은 앱을 답변 도중에 종료할 수 있습니다.

💬 쉽게 말하면

모델을 실행하는 것은 게임을 실행하는 것과 같습니다. 스마트폰이 뜨거워지고, 스스로를 보호하려고 느려지며, 전력을 낭비한다고 판단하면 앱을 닫을 수 있습니다.

  • 발열. 스마트폰은 최고 속도를 오래 유지하지 못합니다. 식히려고 스스로 느려지므로 첫 답변은 보통 열 번째 답변보다 빠릅니다. 출처가 있는 스로틀링 수치가 없어 제시하지 않으며, 자신의 스마트폰에서 10분간 실행해 테스트하십시오. 케이스를 벗기고, 생성 중에는 충전기를 피하고, 긴 세션에는 더 작은 모델을 선호하십시오.
  • 배터리. 생성은 CPU, GPU 또는 NPU를 계속 바쁘게 하므로 눈에 띄는 소모를 예상하십시오. Google은 AICore의 Gemma 4가 이전 버전보다 배터리를 최대 60% 적게 쓰고 최대 4배 빠르게 실행된다고 밝힙니다(Google이 자사 모델과 스마트폰에 대해 한 주장). 이 수치는 사이드로드 GGUF 앱에 적용되지 않습니다.
  • Google 시스템 모델의 포그라운드 규칙. Google은 ML Kit GenAI 추론이 호출한 앱이 최상위 포그라운드 앱일 때만 허용되며, 백그라운드 사용에는 오류가 나고 빠르거나 오래 걸리는 사용에는 앱별 할당량이 있다고 문서화합니다. Gemini Nano를 쓰는 앱은 백그라운드에서 요약할 수 없습니다.
  • 프로세스 제한. Android 12는 백그라운드 자식 프로세스에 제한을 도입했으며, 그래서 Termux가 "signal 9"를 출력하고 멈출 수 있습니다. Termux 관리자는 Android 12 이상에서 불안정할 수 있다고 경고합니다. 최근 버전에서는 가이드들이 "Disable child process restrictions"라는 개발자 옵션 스위치를, Android 12~13에서는 ADB 설정을 설명하지만 세부 사항은 브랜드와 버전에 따라 다르므로 의존하기 전에 자신의 스마트폰에서 확인하십시오.
  • 브랜드 배터리 관리자. Samsung, Xiaomi, OnePlus 등은 자체 절전 앱 목록을 추가합니다. AI 앱을 배터리 최적화에서 제외하고, 최근 앱 화면에서 잠그고, 긴 답변 동안 화면을 켜 두십시오.
  • 저장 공간. 모델은 큰 파일입니다. 앱이 기대하는 위치에 저장하고, 수 GB의 여유를 유지하며, 더 이상 쓰지 않는 모델은 삭제하십시오.
  • 컨텍스트 크기. 컨텍스트 윈도우가 클수록 메모리를 더 씁니다. llama.cpp Android 가이드는 더 큰 값이 메모리를 급증시켜 터미널을 종료시킬 수 있으므로 4096 근처에서 시작할 것을 제안합니다.

⚠️경고: 이미지나 긴 답변을 생성하는 스마트폰을 베개 밑이나 뜨거운 차 안에 두지 마십시오. 열은 배터리 수명을 줄이며, 스로틀링된 스마트폰은 느린 스마트폰입니다.

불가능하거나 아직 안 되는 것

오늘 어떤 앱도 해결할 수 없는 한계를 이유별로 묶었습니다. 이를 알면 도움이 되지 않을 설정을 시도하느라 보내는 시간을 아낄 수 있습니다.

📍 한 문장으로

Android의 로컬 AI는 어려운 작업에서 클라우드 모델에 필적할 수 없고, 700억 개 파라미터 모델이나 매우 긴 컨텍스트를 담을 수 없으며, Android가 종료하지 않는 항상 켜진 어시스턴트로 실행될 수 없습니다.

💬 쉽게 말하면

스마트폰은 작은 메모리, 작은 배터리, 뜨겁고 밀폐된 케이스를 가졌고, 이 세 가지 사실이 상한을 정합니다.

오프라인에서 최상위 모델 수준의 품질

이유:
스마트폰 모델은 10억~80억 개 파라미터이고, 클라우드 플래그십은 훨씬 큽니다. 작은 모델은 어려운 추론과 길고 정확한 답변에 약합니다.
대신 할 일:
비공개, 간단하거나 오프라인 작업에는 로컬을, 어려운 작업에는 서버나 클라우드를 쓰십시오.

700억 개 파라미터 모델

이유:
4비트에서도 가중치만 수십 GB가 필요하며, 대부분의 스마트폰은 전체 8~16 GB입니다.
대신 할 일:
컴퓨터에서 실행하고 원격 모드를 사용하십시오.

매우 긴 문서를 한 번에

이유:
컨텍스트 윈도우가 작고 메모리는 컨텍스트와 함께 늘어납니다. Gemini Nano Prompt API는 약 4,000 토큰 미만입니다.
대신 할 일:
RAG로 청킹하고 서버에서 색인하십시오.

긴 출력의 빠른 응답

이유:
속도는 메모리 대역폭에 제한되며, 발열이 지속적인 실행을 스로틀링합니다.
대신 할 일:
더 작은 모델을 고르고 짧은 답변을 요청하십시오.

신뢰할 수 있는 항상 켜진 백그라운드 어시스턴트

이유:
Android는 백그라운드 작업을 제한하고 브랜드 배터리 관리자는 앱을 종료합니다. Google의 시스템 모델은 포그라운드 전용입니다.
대신 할 일:
어시스턴트를 홈 서버에 두고 스마트폰은 클라이언트로 쓰십시오.

사이드로드 모델에서 NPU 속도

이유:
NPU 경로는 칩별로 컴파일된 모델이 필요하며, 일부 연산만 지원되고 나머지는 CPU나 GPU로 되돌아갑니다.
대신 할 일:
LiteRT, GenieX, NeuroPilot용으로 준비된 모델을 쓰거나 CPU와 GPU 속도를 받아들이십시오.

모든 스마트폰의 모든 앱에서 Gemini Nano

이유:
접근은 AICore, 기기와 칩셋 지원, Prompt API의 경우 잠긴 부트로더에 달려 있습니다.
대신 할 일:
llama.cpp나 LiteRT-LM처럼 직접 통제하는 엔진을 쓰십시오.

스마트폰에서의 학습 또는 파인튜닝

이유:
메모리, 연산, 발열 예산이 작은 실험 이상에는 너무 작습니다.
대신 할 일:
컴퓨터에서 파인튜닝한 뒤 결과를 불러오십시오.

작은 비전 및 OCR 모델의 검증된 정확도

이유:
이 앱들이 실행하는 모델에 대한 독립적인 정확도 수치를 찾지 못했습니다.
대신 할 일:
자신의 샘플로 테스트하고 맹신하지 마십시오.

보장된 원격 측정 없음

이유:
앱이 로컬로 실행되면서도 분석 정보를 수집할 수 있으며, 그 주장은 개발사의 것입니다.
대신 할 일:
데이터 보안 카드, 방침, 권한, 트래픽을 확인하십시오.

모든 Android 스마트폰에서 동작하는 단일 구성

이유:
칩, RAM, OS 버전, 배터리 관리자가 브랜드와 모델마다 다릅니다.
대신 할 일:
작은 모델 하나를 먼저 테스트한 뒤 키우십시오.

💡팁: 이 한계 중 여럿은 변하고 있습니다. Gemini Nano 4의 Gemma 4, 더 넓은 LiteRT NPU 지원, AppFunctions는 우리가 읽은 자료에서 모두 프리뷰 또는 베타입니다. 오늘의 한계가 영구적이라고 가정하지 말고 다음 갱신 때 다시 확인하십시오.

의존하기 전에 확인할 조용한 앱

디렉토리의 일부 앱은 3개월 넘게 업스트림 업데이트가 없었습니다. 이는 프로젝트가 죽었거나 안전하지 않다는 뜻이 아니라, 앱을 기반으로 루틴을 만들기 전에 개발사 페이지, 스토어 설명, 이슈 트래커를 확인하라는 신호입니다. 날짜는 1차 출처에서 읽은 최신 릴리스 또는 마지막 실질적 커밋을 기록한 디렉토리 항목에서 가져왔습니다.

📍 한 문장으로

MLC Chat, Caelum, ToolNeuron, PAIOS, Aori, Atomic Bot을 포함해 디렉토리에서 Android로 나열된 여러 앱은 작성 시점에 3개월 넘게 업스트림 업데이트가 없었습니다.

💬 쉽게 말하면

조용한 앱도 여전히 동작할 수 있지만, 버그나 보안 문제를 곧 고쳐 줄 사람이 없을 수 있습니다.

  • MLC Chat: 디렉토리에 기록된 마지막 업데이트는 2024년 9월입니다. 더 새로운 빌드는 개발사의 GitHub 릴리스에서 확인하십시오. MLC LLM 런타임 자체는 계속 발전하고 있으므로(MLC LLM) 최신 작업에는 런타임에서 직접 빌드하십시오.
  • Caelum: 2025년 8월 이후 업데이트가 없으며 1년이 넘었습니다.
  • ToolNeuron: 수개월간의 조용한 기간. 잘 맞는 앱(MIT 라이선스, 암호화 저장)이지만 최근 활동을 확인하십시오.
  • PAIOS: 검토한 릴리스는 2026년 봄의 것이며 프로젝트는 스스로를 알파로 표시합니다. 자신의 스마트폰이 여전히 AICore에서 지원되는지 확인하십시오.
  • Aori: 최근 릴리스가 없는 무료 베타이며, Android 앱은 연결한 클라우드 제공자에 프롬프트를 보냅니다.
  • Atomic Bot: 최근 릴리스가 없으며 우리 리뷰에서 문서화된 Android 빌드가 없었습니다.

선택 경로: 이 스마트폰으로 이것을 하고 싶다면

앱의 인기가 아니라 자신의 RAM과 목표에서 시작하십시오. 자신의 스마트폰에 맞는 줄을 찾고, 그다음 목표를 찾은 뒤, 링크를 따라가십시오.

📍 한 문장으로

스마트폰의 RAM과 칩을 모델 크기에 맞추고, 목표를 장에 맞추십시오. 채팅은 PocketPal AI, 카메라와 Gemma는 Google AI Edge Gallery, 문서는 AnythingLLM Mobile, 무거운 모델은 원격 클라이언트를 통한 서버입니다.

💬 쉽게 말하면

작은 스마트폰에는 작은 모델, 큰 작업에는 큰 서버.

  • RAM 4~6 GB, 간단한 비공개 채팅을 원함: 10억~20억 개 파라미터 모델의 PocketPal AI, 또는 RAM이 4 GB 이상이라면 Ensu.
  • RAM 8 GB, 최고의 일상 균형을 원함: 30억~40억 개 파라미터 모델의 PocketPal AI 또는 Google AI Edge Gallery.
  • RAM 12~16 GB, 들어가는 가장 큰 모델을 원함: Maid 같은 GGUF 러너에서 짧은 컨텍스트로 저비트 양자화한 70억~80억 개 파라미터 모델.
  • Pixel 9 또는 Pixel 10: PAIOS로 Google의 시스템 모델을 시도하고, Gemma 모델에는 Google AI Edge Gallery를 사용하십시오.
  • Galaxy S25 또는 S26: Galaxy AI는 하이브리드이고 칩이 모델과 지역에 따라 달라지므로 먼저 Galaxy S26 온디바이스 AI를 읽으십시오.
  • Snapdragon 8 Elite 플래그십, 최대 속도를 원함: 개발자는 LiteRT와 GenieX를 쓸 수 있습니다. 사용자라면 Google AI Edge Gallery로 시작해 llama.cpp 앱과 비교하십시오.
  • 내 파일에 대해 질문하고 싶음: 스마트폰에서는 AnythingLLM Mobile 또는 Private Mind, 큰 아카이브에는 홈 서버.
  • 오프라인 번역이나 받아쓰기를 원함: 자신의 언어를 테스트한 뒤 LLM Hub, Private Mind 또는 Ensu.
  • 이미지를 그리고 싶음: 인내심과 식힌 스마트폰으로 Local AI by GeetMark 또는 TokForge.
  • 집에서 쓰고 싶음: 홈 서버가 있는 Home Assistant Assist와 리모컨 역할의 스마트폰.
  • GPU가 있는 컴퓨터가 있음: 거기서 Ollama나 LM Studio를 실행하고 스마트폰 클라이언트로 LocalMind 또는 AnythingLLM Mobile을 사용하십시오.
  • 개발자: 개발자 경로 표에서 고르십시오. 작은 텍스트 작업만 필요하다면 ML Kit Prompt API로, 자체 모델이 필요하다면 LiteRT-LM으로 시작하십시오.

15분 만에 첫 실행

약 15분 만에 동작하는 오프라인 어시스턴트를 만들 수 있으며, 그 시간의 대부분은 모델 다운로드입니다. 이 안내는 PocketPal AI를 예로 들며, 어떤 GGUF 러너에서도 단계는 같습니다. 다운로드에는 Wi-Fi와 충전기를 사용하십시오.

📍 한 문장으로

앱 하나를 설치하고, Wi-Fi에서 RAM에 맞는 크기의 모델을 내려받아 프롬프트를 실행한 뒤, 비행기 모드에서 다시 테스트해 답변이 오프라인으로 동작하는지 확인하십시오.

💬 쉽게 말하면

인터넷이 있을 때 한 번 내려받고, 인터넷을 끈 뒤에도 답하는지 확인하십시오.

  1. 1
    저장 공간과 RAM 확인(1분)
    Why it matters: 모델은 수 GB입니다. 첫 모델에는 3~6 GB의 여유 저장 공간이면 충분하며, 크기는 RAM이 정합니다. 설정, 휴대전화 정보에서 확인하십시오.
  2. 2
    앱 하나 설치(2분)
    Why it matters: Google Play에서 [PocketPal AI](/ko/power-local-llm/pocketpal-ai-review) 또는 [Google AI Edge Gallery](/ko/power-local-llm/google-ai-edge-gallery-review)를 사용하십시오. 한 번에 앱 하나만 쓰면 결과를 비교할 수 있습니다.
  3. 3
    Wi-Fi 연결과 충전(1분)
    Why it matters: 다운로드가 크며 충전 중 발열은 괜찮습니다. 모바일 데이터는 느리고 비쌀 수 있습니다.
  4. 4
    RAM에 맞춰 모델 선택(1분)
    Why it matters: 4~6 GB: 1~2B. 8 GB: 3~4B. 12~16 GB: 4~8B. 망설여지면 더 작은 것을 고르십시오.
  5. 5
    모델 다운로드와 불러오기(5~7분)
    Why it matters: 시간은 연결 상태와 파일 크기에 따라 다릅니다. 끝날 때까지 화면을 켜 두십시오.
  6. 6
    첫 프롬프트 보내기(1분)
    Why it matters: 간단한 것을 물어보십시오. 단어가 나타나는 속도를 기록해 두십시오. 이것이 기준선입니다.
  7. 7
    비행기 모드에서 테스트(1분)
    Why it matters: 비행기 모드를 켜고 다시 물어보십시오. 답하면 이 모델과 앱에서 추론이 로컬입니다.
  8. 8
    앱을 배터리 최적화에서 제외(1분)
    Why it matters: 배터리 관리자가 공격적인 브랜드에서 답변 도중 종료되는 일을 줄여 줍니다.
  9. 9
    이 가이드의 작업 하나 시도(원하는 만큼)
    Why it matters: 받아쓰기, 문서 질문, 이미지 질문을 해 보면 스마트폰이 잘 맞는지 금방 알 수 있습니다.

💡팁: 첫 모델이 느리게 느껴지거나 충돌하면 앱을 바꾸기 전에 한 단계 작은 모델로 내리십시오. 약하게 느껴지면 한 단계 올리거나 원격 모드를 쓰십시오.

요약: 스마트폰 등급, 앱, 모델 크기

스크린샷으로 남길 표 하나. 이는 위의 RAM 계산과 각 앱이 문서화한 내용에 따른 출발점이며 벤치마크 결과가 아닙니다.

📍 한 문장으로

RAM 4~6 GB 스마트폰에는 10억~20억 개 파라미터 모델을, 8 GB에는 30억~40억 개를, RAM 12~16 GB에는 70억~80억 개를 쓰고, 그보다 큰 것은 서버를 쓰십시오.

💬 쉽게 말하면

먼저 모델을 RAM에 맞추고, 그다음 작업에 맞는 앱을 고르십시오.

스마트폰 등급
첫 앱으로 좋은 것
모델 크기
적합한 용도
RAM 4~6 GB, 보급형PocketPal AI1~2B짧은 채팅, 간단한 문장 다듬기
RAM 8 GB, 중급Google AI Edge Gallery3~4B일상 채팅, 카메라 질문
RAM 12 GB, 플래그십Maid4~8B더 나은 답변, 짧은 컨텍스트
RAM 16 GB, 게이밍 스마트폰LM Playground7~8B더 큰 로컬 모델
Pixel 9 또는 10PAIOSGemini Nano시스템 모델, 다운로드 없음
모든 스마트폰 + 홈 서버LocalMind서버에서 7~70B무거운 모델, 집에서의 프라이버시
모든 등급의 문서AnythingLLM Mobile작은 모델 + RAG내 파일에 대한 질문

흔한 실수

첫 시도의 실패 대부분은 같은 몇 가지 실수에서 나옵니다.

  • 여유 RAM에 비해 너무 큰 모델 선택. 앱이 충돌하거나 스마트폰이 멈춥니다. 한 단계 낮추십시오.
  • NPU가 쓰인다고 가정. 사이드로드 앱 대부분은 CPU나 GPU에서 실행되므로 "50 TOPS" 칩이라고 더 빨라지지 않습니다.
  • "오프라인"을 "비공개"로 취급. 오프라인 추론은 한 겹일 뿐이고, 분석 정보, 광고, 클라우드 토글은 또 다른 겹입니다. 데이터 보안 카드와 방침을 확인하십시오.
  • 여러 출처에서 Termux 설치. Google Play, F-Droid, GitHub 빌드를 섞으면 서명과 업데이트가 깨집니다. 하나를 골라 그것만 쓰십시오.
  • 비전에 텍스트 전용 모델 사용. 이미지에는 비전 지원 모델이 필요하며, 일부 앱에서는 추가 프로젝터 파일이 필요합니다.
  • 백그라운드 어시스턴트를 기대. Android와 브랜드 배터리 관리자는 유휴 앱을 종료합니다. 상시 작업은 서버에 두십시오.
  • 첫 답변으로 모델 평가. 차가운 스마트폰이 가장 빠릅니다. 결정하기 전에 10분간 테스트하십시오.
  • Apple 전용 앱 설치. Chapper에는 Android 버전이 없습니다. 대신 Android 클라이언트를 쓰십시오.
  • 작은 모델에 중요한 텍스트를 맡김. 번역, OCR, 요약은 틀릴 수 있으므로 행동하기 전에 검증하십시오.

출처

플랫폼과 칩 관련 사실은 2026년 11월에 읽은 아래 개발사 페이지에서 가져왔습니다. 제품 관련 사실은 연결된 PromptQuorum 리뷰와 디렉토리 항목에서 가져왔으며, 이들은 각자의 1차 출처를 인용합니다.

자주 묻는 질문

인터넷 없이 Android에서 로컬 AI를 실행할 수 있습니까?

예. PocketPal AI나 Google AI Edge Gallery 같은 온디바이스 앱과 10억~40억 개 파라미터 모델을 Wi-Fi에서 내려받은 뒤 비행기 모드에서 사용하십시오. 처음 다운로드에는 연결이 필요하며, 이후 채팅, 받아쓰기, 번역, 문서 질문은 오프라인에서 동작할 수 있고 품질은 클라우드 AI보다 낮습니다.

Android 스마트폰에서 LLM을 실행하려면 RAM이 얼마나 필요합니까?

경험칙으로 4~6 GB는 10억~20억 개 파라미터 모델, 8 GB는 30억~40억 개, 12~16 GB는 저비트 양자화로 70억~80억 개를 담을 수 있습니다. Android와 다른 앱이 수 GB를 쓰므로 상자에 적힌 숫자보다 여유 RAM이 더 중요합니다. 앱이 자체 하한을 정할 수도 있습니다.

Android 앱은 로컬 LLM에 NPU를 사용합니까?

대개 사용하지 않습니다. 범용 GGUF 앱은 CPU에서, 때로는 GPU에서 실행됩니다. Google LiteRT, Qualcomm GenieX, MediaTek NeuroPilot을 통한 NPU 경로가 있지만 특정 칩에 맞게 준비된 모델이 필요합니다. Google은 Dimensity 9500 NPU의 Gemma 3n E2B 같은 자체 예시에서 큰 속도 향상을 보고하지만, 이는 개발자용 경로입니다.

Gemini Nano는 무엇이며 어떤 앱이든 사용할 수 있습니까?

Gemini Nano는 Android의 AICore 서비스가 관리하는 Google의 온디바이스 모델입니다. 앱은 Pixel 9과 10, 최신 Galaxy 및 Xiaomi 모델 같은 지원 스마트폰에서 ML Kit GenAI로 접근합니다. Google은 앱이 포그라운드에 있을 때만 실행되며 Prompt API는 부트로더가 잠금 해제된 상태에서 지원되지 않는다고 밝힙니다.

Android용 최고의 로컬 AI 앱은 무엇입니까?

단 하나의 최고는 없습니다. PocketPal AI는 모델 선택 폭이 넓은 무료 오픈소스 GGUF 러너이고, Google AI Edge Gallery는 Gemma 계열 모델을 위한 Google 자체 앱이며, AnythingLLM Mobile은 문서 질문에, LocalMind는 자신의 서버와 통신하는 스마트폰에 맞습니다. 우리의 Android 종합 비교가 가장 잘 알려진 선택지를 비교합니다.

Android의 로컬 AI는 정말 비공개입니까?

앱이 스마트폰에서 모델을 실행하면 그 단계에서는 프롬프트가 AI 벤더의 추론 서버로 전송되지 않습니다. 앱은 여전히 분석 정보를 수집하거나 클라우드 기능을 사용할 수 있습니다. 데이터 보안 카드, 개인정보 처리방침, 권한, 그리고 모델 다운로드 후 비행기 모드를 켠 채로 앱이 동작하는지 확인하십시오.

Android 스마트폰에서 Ollama를 실행할 수 있습니까?

Android용 공식 Ollama 앱은 없습니다. 커뮤니티 방식으로 Termux에서 CPU로 실행하거나, Termux에서 llama.cpp를 직접 실행하거나, Mobile LM Server나 Ollama Local AI(Ollama 프로젝트가 만든 것이 아님)처럼 Ollama 호환 API를 흉내 내는 Android 앱을 쓸 수 있습니다. 대부분은 컴퓨터에서 Ollama를 실행하고 스마트폰 클라이언트를 쓰는 편이 더 좋은 결과를 얻습니다.

Android는 백그라운드에서 로컬 AI를 허용합니까?

부분적으로만 허용합니다. Android는 백그라운드 프로세스를 제한하고, 브랜드 배터리 관리자는 자체 제한을 추가하며, Google의 Gemini Nano API는 포그라운드에서만 동작합니다. 앱을 배터리 최적화에서 제외하고 긴 답변 동안 화면을 켜 두십시오. 상시 어시스턴트는 홈 서버에 두십시오.

스마트폰이 700억 개 파라미터 모델을 실행할 수 있습니까?

현실적으로는 어렵습니다. 4비트에서도 가중치만 수십 GB가 필요한데 스마트폰은 보통 전체 8~16 GB입니다. 이런 모델은 컴퓨터에서 실행하고 LocalMind나 AnythingLLM Mobile 같은 앱으로 스마트폰을 클라이언트로 쓰십시오.

로컬 AI로 Android에서 오프라인 번역은 어떻게 합니까?

LLM Hub처럼 번역이 포함된 앱을 쓰거나, 녹음에는 Google AI Edge Gallery의 Audio Scribe를 쓰십시오. 작은 모델은 일반적인 언어 쌍을 무난하게 처리하고 드문 언어와 법률 표현에서는 어려움을 겪으므로, 자신의 언어 쌍을 테스트하고 중요한 텍스트는 검증하십시오.

문서나 라벨에 온디바이스 비전 모델을 써도 안전합니까?

중요한 판독에는 안전하지 않습니다. 작은 비전 모델은 글자와 숫자를 잘못 읽을 수 있고, 이 앱들이 실행하는 모델에 대한 독립적인 정확도 수치를 찾지 못했습니다. 요지 파악에 쓰고 원본과 대조해 검증하십시오.

iPhone에서는 무엇이 다릅니까?

둘 다 유능하지만 절충이 다릅니다. iPhone은 벤더가 하나이고 기기 변형이 적어 결과가 더 예측 가능한 편입니다. Android는 스토어 밖에서 앱을 설치하고 Android 앱인 Termux를 쓸 여지가 더 많습니다. Apple의 App Store 밖 앱 설치 규칙은 지역에 따라 다르고 시간이 지나며 바뀌므로, 자신의 국가에 대한 Apple의 현재 정책을 확인하십시오. 자매 가이드 iPhone의 로컬 AI가 Apple 쪽을 다루고, Galaxy vs iPhone 온디바이스 AI가 두 생태계를 비교합니다.

← 고급 로컬 LLM으로 돌아가기

MCP