Skip to main content
PromptQuorum
홈/고급 로컬 LLM/PocketPal AI 리뷰(2026): 무료 오픈소스 온디바이스 채팅 앱
Mobile & Edge LLMs

PocketPal AI 리뷰(2026): 무료 오픈소스 온디바이스 채팅 앱

·10분 읽기·Hans Kuepper 저 · PromptQuorum 창립자, 멀티 모델 AI 디스패치 도구 · PromptQuorum
언어 선택:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

PocketPal AI는 GGUF 언어 모델을 iPhone, iPad 또는 Android 기기에서 완전히 실행하는 무료 오픈소스(MIT 라이선스) 앱으로, 채팅에 클라우드 의존성이 없습니다. 개발자 Asghar Ghorbani가 만들었으며 GitHub에서 호스팅되고 있습니다(리뷰 시점 기준 8,000개 이상의 스타). Gemma 2, Qwen, Phi, Danube 3 등의 모델을 원탭으로 다운로드할 수 있으며, Hugging Face에서 받은 다른 GGUF 파일도 불러올 수 있습니다. 기본 앱은 무료이며, PalsHub라는 선택적 인앱 마켓플레이스가 프리미엄 어시스턴트 프리셋을 판매하지만, 다운로드한 모델과의 채팅 자체는 무료입니다.

PocketPal AI는 iPhone, iPad, Android용 무료 MIT 라이선스 오픈소스 앱으로, GGUF 언어 모델을 서버 왕복이나 채팅용 계정 없이 기기에서 직접 실행합니다. 개발자는 Asghar Ghorbani이며, 개인 프로젝트로 시작한 뒤 GitHub에 코드를 공개했습니다. 이 리뷰에서는 현재 앱이 제공하는 기능, 기본 탑재 모델, 실제 하드웨어 요구사항, 실제 가격 정책(기본 앱은 무료이며, PalsHub라는 선택적 커뮤니티 마켓플레이스가 프리미엄 프리셋을 판매합니다), 그리고 누구에게 적합하고 누구에게는 적합하지 않은지를 다룹니다.

PocketPal AI 리뷰(2026): 무료 오픈소스 온디바이스 채팅 앱

핵심 요점

  • 무료 오픈소스(MIT 라이선스); 소스 코드와 이슈 트래커가 GitHub에 공개되어 있습니다.
  • Asghar Ghorbani가 개인 프로젝트로 시작했으며, 관심을 끈 뒤 오픈소스로 공개했습니다.
  • llama.cpp를 통해 GGUF 모델을 기기에서 완전히 실행합니다 — 계정도, 채팅을 위한 서버 왕복도 필요 없습니다.
  • Gemma 2, Qwen, Phi, Danube 3를 원탭으로 다운로드할 수 있으며, Hugging Face의 다른 GGUF 모델은 수동으로 불러올 수 있습니다.
  • App Store(iPhone/iPad)와 Google Play(Android)에서 이용 가능합니다. Mac, Windows, Linux 버전은 없습니다.
  • 기본 앱에는 구독료가 없습니다. 선택적 PalsHub 마켓플레이스가 인앱 구매로 프리미엄 어시스턴트 프리셋을 판매합니다.

📍 한 문장으로

PocketPal AI는 iPhone, iPad, Android용 무료 MIT 오픈소스 앱으로, GGUF 언어 모델을 기기에서 직접 다운로드하고 실행하며, 개발자 Asghar Ghorbani가 만들고 유지 관리합니다.

💬 쉽게 말하면

회사 서버가 아니라 자신의 스마트폰에서 실행되는 AI와 채팅하기 위해 설치하는 앱입니다. 코드는 GitHub에 공개되어 있고, 앱 자체는 무료이며, 단일 공급업체에 묶이는 대신 다운로드할 모델을 직접 선택할 수 있습니다.

📌참고: 이 리뷰는 공개된 GitHub 저장소, 프로젝트 자체 문서, App Store 및 Google Play 등록 정보를 바탕으로 하며, 2026년 9월에 확인했습니다. PromptQuorum은 이 리뷰를 위해 PocketPal AI에 대한 자체 실측 벤치마크를 실시하지 않았습니다 — 아래의 성능 수치는 이 앱에 특화된 측정치가 아니라 로컬 LLM 전반에 대한 일반적인 하드웨어 가이드입니다.

PocketPal AI란 무엇인가?

**PocketPal AI는 GGUF 형식의 오픈 웨이트 언어 모델을 다운로드하여 llama.cpp를 추론 엔진으로 사용해 iPhone, iPad 또는 Android 기기에서 로컬로 실행하는 모바일 앱입니다.** 앱 자체는 React Native로 만들어졌으며 MIT 라이선스로 공개되어 있어, 전체 소스 코드를 자유롭게 살펴보고 포크하거나 수정할 수 있습니다.

고정된 큐레이션 모델 목록에 사용자를 가두는 앱과 달리, PocketPal AI는 앱이 원탭으로 가져올 수 있는 모델 중에서 선택하거나 Hugging Face에서 찾은 임의의 GGUF 파일을 가져올 수 있게 해줍니다. 여기에는 라이선스 조건에 동의한 후 접근할 수 있는 게이트형 모델도 포함됩니다. 이 유연성이 앱의 핵심 특징으로, 단일 공급업체 제품이라기보다 채팅 UI를 갖춘 범용 GGUF 런타임처럼 작동합니다.

PocketPal AI는 누가 만들었는가?

PocketPal AI는 자신의 스마트폰에서 소형 언어 모델을 실행하기 위한 개인 프로젝트로 시작한 Asghar Ghorbani가 만들었으며, 외부의 관심을 끈 뒤 오픈소스로 공개했습니다. Ghorbani는 Medium 게시물 "PocketPal AI: Tiny LLMs in the Pocket"에서 프로젝트의 기원과 동기를 설명하며, 소형 언어 모델의 힘을 그대로 주머니에 넣는 것이 목표였다고 밝혔습니다.

이 프로젝트는 자금을 지원받는 회사나 전담 팀이 아니라 개발자의 여가 시간에 유지 관리됩니다 — 저장소 자체의 시작 문서에도 이 점이 명시되어 있으며, 기업 수준의 지원 응답 속도를 기대하기 전에 알아둘 만한 사실입니다. GitHub 저장소(a-ghorbani/pocketpal-ai)는 이 리뷰 시점 기준 8,000개 이상의 스타와 850개 이상의 포크를 축적했으며, 새로운 모델 지원, UI 변경, 인터넷 검색 연동·채팅 고정·Markdown 내보내기 같은 기능 추가를 포함한 정기적인 릴리스를 계속 받고 있습니다.

  • 개발자: Asghar Ghorbani(GitHub: a-ghorbani), 기업이 아닌 독립적으로 활동.
  • 기기에서 소형 언어 모델을 실행하기 위한 개인 프로젝트로 시작; 대중의 관심을 얻은 뒤 오픈소스로 공개.
  • 라이선스: MIT — 자유로운 사용, 수정, 재배포를 허용하는 관대한 라이선스.
  • 이 리뷰 시점 기준 GitHub 스타 8,000개 이상, 포크 850개 이상, 활발한 이슈 트래커와 풀 리퀘스트 이력.
  • 개발 속도: 런타임 업데이트, 새로운 UI 기능, 확장된 언어 지원을 담은 잦은 포인트 릴리스를 자원봉사 기반으로 유지 관리.

PocketPal AI 시작하는 방법

**프로젝트 자체의 시작 가이드 문서에 따르면, 설치 후 네 단계만 거치면 로컬 채팅을 사용할 수 있습니다.** 계정 생성이나 로그인은 필요 없으며, 전체 과정이 기기 내에서 이루어집니다.

  1. 1
    앱 설치하기
    Why it matters: iPhone/iPad에서는 [App Store](https://apps.apple.com/us/app/pocketpal-ai/id6502579498)에서, Android에서는 [Google Play](https://play.google.com/store/apps/details?id=com.pocketpalai)에서 PocketPal AI를 다운로드합니다. 앱을 여는 데 계정이나 이메일 가입이 필요하지 않습니다.
  2. 2
    모델 페이지 열기
    Why it matters: 앱 메뉴에서 모델 탭으로 이동하면 Gemma 2, Qwen, Phi, Danube 3와 같은 원탭 다운로드 모델 목록과 커스텀 GGUF 파일을 가져오는 옵션을 볼 수 있습니다.
  3. 3
    모델 다운로드하기
    Why it matters: 기기의 RAM에 맞는 크기의 모델을 선택(아래 하드웨어 섹션 참조)하여 다운로드합니다. 더 크고 성능이 좋은 모델일수록 다운로드 시간이 길어지고 기기 저장 공간을 더 많이 사용합니다.
  4. 4
    모델을 불러와 채팅 시작하기
    Why it matters: "Load"를 탭해 다운로드한 모델을 메모리로 불러온 뒤 Chat 페이지로 전환합니다. 모델이 로드되면 모든 추론이 기기에서 이루어집니다 — PocketPal AI의 "Auto Offload/Load" 기능은 앱이 백그라운드로 전환될 때 메모리를 절약하기 위해 모델을 자동으로 언로드하고, 다시 돌아왔을 때 재로드할 수 있습니다.

PocketPal AI가 지원하는 모델은?

Gemma 2

접근 방식:
앱 내 원탭 다운로드
주요 용도:
일반 채팅; Google의 오픈 웨이트 모델 계열

Qwen

접근 방식:
앱 내 원탭 다운로드
주요 용도:
일반 채팅과 추론; Alibaba의 오픈 웨이트 모델 계열

Phi

접근 방식:
앱 내 원탭 다운로드
주요 용도:
경량 추론; Microsoft의 소형 모델 계열

Danube 3

접근 방식:
앱 내 원탭 다운로드
주요 용도:
경량 채팅; H2O.ai의 소형 모델 계열

기타 모든 GGUF 모델

접근 방식:
앱 내 Hugging Face Hub 검색을 통한 수동 가져오기, 라이선스 조건 동의 후 게이트형 모델 포함
주요 용도:
원탭 다운로드 목록에 없는 커스텀 또는 틈새 모델

PocketPal AI는 iPhone과 Android에서 사용 가능한가?

iPhone / iPad

이용 가능 여부:
App Store에서 이용 가능
참고 사항:
기본적으로 Apple의 Metal GPU API를 사용해 가속하며, 특정 기기에서 불안정할 경우 앱 내에서 비활성화할 수 있습니다.

Android

이용 가능 여부:
Google Play에서 이용 가능
참고 사항:
최근 릴리스에서는 호환 칩셋을 위한 Qualcomm Hexagon NPU 가속 백엔드가 복원되었으며, 표준 CPU 추론도 지원합니다.

Mac / Windows / Linux

이용 가능 여부:
이 리뷰 시점 기준 데스크톱 버전은 발견되지 않음
참고 사항:
PocketPal AI는 모바일 전용 앱입니다. 로컬 GGUF 채팅 데스크톱 클라이언트를 찾는 사용자는 Ollama, LM Studio 또는 Jan AI를 고려해야 합니다.

PocketPal AI의 가격은?

PocketPal AI는 다운로드가 무료이며, 로컬에 다운로드한 모델과의 채팅도 무료입니다 — 구독료가 없으며 소스 코드는 MIT 라이선스로 공개되어 있습니다. 앱에서 발견된 유일한 유료 구성 요소는 PalsHub로, 커뮤니티 회원이 프리미엄 "Pals"(맞춤형 어시스턴트 프리셋)를 게시하고 판매할 수 있는 인앱 마켓플레이스입니다. PalsHub의 인앱 구매는 지역에 따라 iOS와 Android 모두에서 이용 가능합니다.

앱과 모델 실행 기능이 오픈소스이자 무료이므로, 사용자에게 발생하는 유일한 지속적 비용은 GGUF 모델 파일을 다운로드하는 데 필요한 저장 공간과 대역폭입니다 — 양자화된 30~40억 매개변수 모델은 일반적으로 몇 기가바이트 정도이며, 더 큰 모델은 그에 비례해 더 큽니다.

  • 기본 앱: 무료, 구독 없음, MIT 라이선스 오픈소스 소프트웨어.
  • 다운로드한 모델과의 채팅: 무료 — 추론이 자신의 기기에서 실행되므로 메시지나 토큰당 요금이 없습니다.
  • PalsHub 마켓플레이스: 커뮤니티가 제작한 프리미엄 어시스턴트 프리셋에 대한 선택적 인앱 구매이며, 기본 채팅 기능에는 필요하지 않습니다.
  • 저장 비용: 금전적이지는 않지만 실질적인 비용입니다 — 다운로드한 각 GGUF 모델은 기기 저장 공간을 차지하며, 일반적으로 모델당 몇 기가바이트입니다.

PocketPal AI의 기능은?

기본적인 로컬 채팅 외에도, PocketPal AI는 릴리스 이력을 거치며 더 성숙한 로컬 AI 앱에서 흔히 볼 수 있는 여러 기능을 점진적으로 갖추게 되었습니다. 다음과 같은 기능이 포함됩니다.

  • Pals와 PalsHub. "Pals"는 시스템 프롬프트, 모델, 동작을 하나로 묶은 맞춤형 어시스턴트 프리셋이며, PalsHub는 사용자가 자신만의 Pals를 공유하거나 판매할 수 있는 마켓플레이스입니다.
  • Talents(도구 호출). 이 앱은 단순한 텍스트 생성이 아니라, 대화 도중 모델이 정의된 도구를 호출할 수 있는 에이전트형 흐름을 지원합니다.
  • 채팅 내 인터넷 검색. 최근 릴리스에서는 Brave, Tavily, Exa 같은 제공업체의 사용자 자체 API 키를 사용해 채팅에서 웹을 검색할 수 있습니다 — 이는 선택 사항이며 내장된 검색 서비스가 아니라 사용자 본인의 키가 필요합니다.
  • 텍스트 음성 변환(TTS). 이 앱은 응답을 소리 내어 읽어줄 수 있으며, 최근 릴리스에서 지원 언어가 확대되고 있습니다.
  • 채팅 고정 및 Markdown 내보내기. 대화를 고정해 빠르게 접근하거나 Markdown 파일로 내보낼 수 있습니다.
  • 추측 디코딩(실험적). 더 작은 "초안" 모델을 더 큰 모델과 결합해 생성 속도를 높일 수 있으며, 프로젝트 자체에서 안정적인 보장이 아니라 실험적 기능으로 표시하고 있습니다.
  • 벤치마크 도구. 이 앱에는 현재 기기에서 모델 성능을 벤치마크하는 방법이 포함되어 있어, 자신의 스마트폰에서 서로 다른 양자화 수준의 성능을 비교하는 데 유용합니다.

PocketPal AI를 실행하려면 어떤 하드웨어가 필요한가?

실제 하드웨어 하한선을 결정하는 것은 앱 자체가 아니라 선택한 모델입니다 — 스마트폰의 GGUF 모델에 대한 일반적인 기준으로, 양자화된 20~40억 매개변수 모델은 약 3~4GB의 여유 RAM이 필요하고, 70~80억 매개변수 모델은 6~8GB 이상이 필요합니다. 이는 로컬 LLM 전반에 대한 일반적인 규격 가이드이며 PocketPal에 특화된 벤치마크가 아닙니다. PromptQuorum은 모델별 PocketPal AI의 정확한 메모리 사용량을 독자적으로 측정하지 않았습니다.

iPhone과 iPad에서는 앱이 기본적으로 Apple의 Metal GPU API를 사용하며, 이는 일반적으로 Apple 실리콘 기기에서 CPU만 사용하는 경우보다 추론 속도를 향상시킵니다. Android에서는 최근 릴리스에서 호환 칩셋을 위한 Qualcomm Hexagon NPU 가속 백엔드 지원이 추가되었습니다. 지원되는 NPU가 없는 기기는 CPU 추론으로 대체되며, 대형 모델의 경우 눈에 띄게 느려집니다.

  • 소형 모델(20~40억 매개변수, 양자화됨): 최근 몇 년 사이 출시된 여유 RAM 4GB 이상의 대부분 스마트폰에서 사용 가능.
  • 중형 모델(70~80억 매개변수, 양자화됨): 만족스러운 응답성을 위해 기기 RAM 8GB 이상 권장.
  • 저장 공간: 다운로드한 모델 파일당 여러 기가바이트의 여유 저장 공간을 확보해 두어야 합니다.
  • 더 빠른 추론: Apple 실리콘을 탑재한 iPhone/iPad(Metal 가속)나 호환되는 Qualcomm Hexagon NPU를 탑재한 최신 Android 기기는 CPU만으로 실행하는 구형 또는 보급형 하드웨어보다 뛰어난 성능을 냅니다.

PocketPal AI에 적합한 사용자

  • 구독 비용을 전혀 원하지 않는 프라이버시 중시 사용자. 지속적인 요금이나 계정 없이 오픈 웨이트 모델을 실행하는 것이 목표라면, MIT 라이선스의 무료 기본 앱인 PocketPal AI가 바로 부합합니다.
  • 고정 목록을 넘어 다양한 모델을 시도해보고 싶은 사용자. 앱이 원탭 다운로드 목록뿐 아니라 Hugging Face의 임의 GGUF 파일도 불러올 수 있으므로, 이미 특정 모델을 염두에 둔 사용자에게 적합합니다.
  • 오픈소스 프로젝트에 익숙한 개발자와 기술적 호기심이 있는 사용자. 공개된 GitHub 저장소, 이슈 트래커, 잦은 릴리스는 전담 고객 지원을 기대하기보다는 릴리스 노트를 읽거나 이슈를 제출할 의향이 있는 사용자에게 적합합니다.
  • 직접 코드를 검토하거나 수정하고 싶은 사용자. MIT 라이선스는 포크와 수정을 허용하며, 이는 프라이빗한 대화를 맡기기 전에 앱이 정확히 무엇을 하는지 감사하고 싶은 사람에게 중요합니다.

PocketPal AI에 적합하지 않은 사용자

  • 설정 없이 완전히 안내받는 경험을 원하는 사용자. 자신의 기기에 맞는 모델 크기를 선택하고 다운로드를 직접 관리하는 것이 워크플로의 일부입니다. 이 결정을 앱에 맡기고 싶은 사용자는 Loci와 같은 더 큐레이션된 앱을 선호할 수 있습니다.
  • Mac, Windows, Linux 지원이 필요한 사용자. PocketPal AI는 모바일 전용(iPhone/iPad, Android)입니다. 데스크톱 사용자는 Ollama, LM Studio, Jan AI를 고려해야 합니다.
  • 가장 요구사항이 높은 모델(700억 매개변수 이상)을 원하는 사용자. 최신 플래그십 기기라도 스마트폰 하드웨어로는 그 규모의 모델을 로컬에서 실제로 실행할 수 없습니다. 어떤 모바일 앱을 사용하든 이러한 워크로드에는 데스크톱, 워크스테이션 또는 클라우드 API가 필요합니다.
  • 전담 상업 지원을 기대하는 사용자. 프로젝트 자체 문서에 따르면 PocketPal AI는 한 명의 개발자가 여가 시간에 유지 관리합니다. 보장된 응답 시간이나 엔터프라이즈 지원 계약이 필요한 사용자는 상업적으로 뒷받침되는 대안을 찾아야 합니다.
  • 기기 간 내장 클라우드 동기화를 원하는 사용자. 설계상 추론과 채팅 기록이 각 기기에 로컬로 유지되므로, PocketPal AI는 클라우드 기반 채팅 앱처럼 iPhone과 Android 기기 간에 계정 기반의 내장 동기화를 제공하지 않습니다.

PocketPal AI와 대안 비교

PocketPal AI

라이선스 / 비용:
무료, 오픈소스(MIT)
플랫폼:
iPhone/iPad, Android
모델 유연성:
원탭 다운로드 목록(Gemma 2, Qwen, Phi, Danube 3)과 Hugging Face의 임의 GGUF 파일
PocketPal AI 관련 문서 (10개)

표시되지 않은 6개 더보기

Loci

라이선스 / 비용:
무료 등급 + 유료 등급; 클로즈드소스
플랫폼:
iPhone/iPad/Android/Mac/Windows(5개 플랫폼)
모델 유연성:
큐레이션된 라이브러리(약 10개 모델); 커스텀 GGUF 파일 가져오기 불가

Private LLM

라이선스 / 비용:
유료, 일회성 구매; 클로즈드소스
플랫폼:
iPhone/iPad/Mac(Apple 전용)
모델 유연성:
140개 이상의 모델, OmniQuant 및 GPTQ 양자화 형식 지원
Private LLM 관련 문서 (10개)

표시되지 않은 4개 더보기

Enclave AI

라이선스 / 비용:
무료 + 유료 등급; 클로즈드소스
플랫폼:
iPhone/iPad/Mac(Apple 전용)
모델 유연성:
기기 내 큐레이션된 모델 목록; Siri 및 단축어 연동

Locally AI

라이선스 / 비용:
무료; 클로즈드소스
플랫폼:
iPhone/iPad
모델 유연성:
App Store 등록 정보 기준 큐레이션된 모델 목록

ChatterUI

라이선스 / 비용:
무료, 오픈소스(AGPL-3.0)
플랫폼:
Android(소스에서 직접 빌드)
모델 유연성:
llama.cpp를 통해 기기에서 GGUF 파일 실행 또는 원격 API 연결; Character Card v2 지원

RikkaHub

라이선스 / 비용:
무료, 오픈소스
플랫폼:
Android
모델 유연성:
멀티 제공업체 클라이언트; Gemma, Qwen 같은 모델을 위한 LiteRT 제공업체를 통한 기기 내 로컬 추론
RikkaHub 관련 문서 (1개)

기타 언급:

MLC Chat(MLC-LLM)

라이선스 / 비용:
무료, 오픈소스(Apache 2.0)
플랫폼:
iPhone/iPad, Android
모델 유연성:
원시 GGUF 파일이 아니라 MLC 런타임용으로 컴파일된 모델을 실행

한때 인기 있던 오픈소스 iOS GGUF 채팅 앱인 LLM Farm은 이 리뷰 시점 기준 App Store에서 삭제되었으며 자체 GitHub 저장소에서도 "일시적으로 사용 불가"로 표시되어 있어, 위의 현재 추천 목록에서 제외했습니다. 또 다른 기기 내 AI 어시스턴트 앱인 Layla는 무료 등급인 "Layla Lite"가 Google Play에서 삭제되었다는 보도가 있으므로, 설치 가능하다고 가정하기 전에 layla-network.ai에서 최신 이용 가능 여부를 직접 확인하세요.

자주 묻는 질문

PocketPal AI는 무료입니까?

네. PocketPal AI는 다운로드가 무료이며 다운로드한 모델과의 채팅도 무료이고, 이 앱은 MIT 라이선스로 오픈소스입니다. 선택적 인앱 마켓플레이스인 PalsHub가 커뮤니티가 제작한 프리미엄 어시스턴트 프리셋을 판매하지만, 핵심 채팅 기능에는 구독료나 결제 장벽이 없습니다.

PocketPal AI는 누가 개발했습니까?

PocketPal AI는 Asghar Ghorbani가 만들었습니다. 그는 자신의 스마트폰에서 소형 언어 모델을 실행하기 위한 개인 프로젝트로 시작했으며, 외부의 관심을 끈 뒤 코드를 오픈소스로 공개했습니다. 기업이 아닌 독립적으로 유지 관리됩니다.

PocketPal AI는 오픈소스입니까?

네, 전체 소스 코드가 MIT 라이선스로 GitHub에 공개되어 있습니다. MIT는 자유로운 사용, 수정, 재배포를 허용하는 관대한 라이선스입니다.

PocketPal AI는 어떤 모델을 실행할 수 있습니까?

PocketPal AI는 Gemma 2, Qwen, Phi, Danube 3를 원탭으로 다운로드할 수 있으며, 이 외에도 Hugging Face에서 찾은 다른 GGUF 형식 모델을 라이선스 조건에 동의한 후 게이트형 모델을 포함해 불러올 수 있습니다.

PocketPal AI는 iPhone과 Android에서 작동합니까?

네. PocketPal AI는 iPhone과 iPad용으로 App Store에서, Android용으로 Google Play에서 이용할 수 있습니다. Mac, Windows, Linux 버전은 없습니다.

PocketPal AI에는 얼마나 많은 RAM이 필요합니까?

이는 앱의 고정 요구사항이 아니라 선택한 모델에 따라 달라집니다. 스마트폰의 양자화된 GGUF 모델에 대한 일반적인 기준으로, 20~40억 매개변수 모델은 일반적으로 3~4GB의 여유 RAM이, 70~80억 매개변수 모델은 일반적으로 8GB 이상이 필요합니다. RAM이 더 많은 기기는 더 크고 성능이 좋은 모델을 실행할 수 있습니다.

PocketPal AI는 인터넷 연결이 필요합니까?

모델을 다운로드한 후에는 채팅에 인터넷 연결이 필요하지 않으며, 추론은 llama.cpp를 통해 완전히 기기에서 이루어집니다. 최초 모델 다운로드에는 인터넷 연결이 필요하며, 선택적으로 앱의 인터넷 검색 기능(예: Brave, Tavily, Exa 같은 제공업체의 사용자 자체 API 키 필요)을 사용할 때도 필요합니다.

PocketPal AI는 프라이빗한 대화에 안전합니까?

추론이 로컬에서 이루어지고 소스 코드가 MIT 라이선스로 공개되어 감사가 가능하므로, PocketPal AI는 작동하기 위해 채팅 내용을 서버로 보낼 필요가 없습니다. 이 리뷰에서는 앱에 대한 독자적인 보안 감사를 수행하지 않았습니다. 그 수준의 보증이 필요한 사용자는 공개 저장소나 이슈 트래커를 직접 확인해야 합니다.

PocketPal AI는 Private LLM이나 Loci와 비교하면 어떻습니까?

PocketPal AI는 무료이자 오픈소스이며 GGUF 모델 불러오기에 제한이 없는 반면, Private LLM은 더 큰 내장 모델 카탈로그(140개 이상)를 갖춘 유료 클로즈드소스 Apple 전용 앱이고, Loci는 다섯 개 플랫폼을 아우르지만 더 작고 큐레이션된 모델 라이브러리를 갖춘 클로즈드소스 앱입니다. 비용과 개방성이 가장 중요하다면 PocketPal AI를, 무료나 오픈소스보다 더 많은 플랫폼에서 더 안내되고 완성도 높은 경험이 중요하다면 Private LLM이나 Loci를 선택하세요. 자세한 내용은 위의 비교표를 참조하세요.

PocketPal AI에서 700억 매개변수 같은 대형 모델을 실행할 수 있습니까?

아니요. 최신 플래그십 기기를 포함해 스마트폰 하드웨어는 그 규모의 모델을 로컬에서 실제로 실행할 만큼 충분한 RAM을 갖추고 있지 않습니다. PocketPal AI는 소형 및 중형 모델(약 80억 매개변수까지)을 위해 설계되었습니다. 더 큰 모델이 필요한 사용자는 대신 데스크톱 워크스테이션이나 클라우드 API를 사용해야 합니다.

결론

PocketPal AI는 진정으로 무료이고, 진정으로 오픈소스이며, 실행하는 모델에 대해 진정으로 유연하다는 점에서 모바일 로컬 AI 앱 중에서 나름의 입지를 갖고 있습니다. 이 세 가지 특성은 각각만으로도 드물고, 이 카테고리에서 함께 갖추기는 더욱 드뭅니다. 이 분야에서 가장 완성도 높은 앱은 아닙니다. 사용자는 자신의 모델 다운로드를 직접 관리해야 하고, 인터페이스는 어느 정도의 안내를 유연성과 맞바꾸며, 프로젝트는 지원 팀을 갖춘 기업이 아니라 한 명의 개발자가 여가 시간에 유지 관리합니다. 구독료나 공급업체 종속 없이 자신의 스마트폰에서 오픈 웨이트 모델을 실행하고 싶고, 자신의 기기에 맞는 모델을 직접 선택하는 데 거리낌이 없다면 PocketPal AI를 선택하세요. 비용과 개방성을 어느 정도 포기하더라도 더 많은 플랫폼에서 더 안내된 설정과 전담 지원을 원한다면, Private LLM이나 Loci 같은 유료 큐레이션 앱을 대신 선택하세요.

출처

← 고급 로컬 LLM으로 돌아가기