테스트는 이렇게 진행되었습니다
목록 정보
PromptQuorum 디렉터리는 Caelum을 오프라인으로 AI를 실행한다고 밝히는 무료 비공개 소스 Android 채팅 앱으로 소개하며, 문서 질문과 선택형 웹 검색을 제공합니다. 모델 이름은 기록되어 있지 않고, 웹사이트는 더 이상 열리지 않으며, Play 다운로드는 10K+, Android 7.0+, 2025년 8월 14일 이후 업데이트가 없습니다(데이터는 2026년 10월 19일에 읽었으며, 업데이트 날짜는 1년 이상 지났습니다).
첫 실행과 내려받기(10:36~10:39)
첫 화면에는 'downloading needed data...', 41 Mo/1020 Mo, ETA 3m 8s, 팁 상자와 'Tap to see other tips...'가 표시됩니다. 5.60 MB/s는 상태 표시줄 자체의 표시값입니다.
앱은 어떤 LLM을 내려받는지 알려 주지 않습니다. 화면에는 'downloading needed data...'만 표시됩니다.
10:39의 다음 스크린샷은 채팅 홈 화면입니다. 내려받기가 끝나는 순간은 스크린샷으로 남기지 않았으므로 '약 3분'은 두 시계에서 계산한 값입니다.
테스터는 이 화면을 '아주 화려하고 아주 예쁘다', 입력 영역을 '조금 빽빽하다'고 평했습니다.
표시된 단위는 프랑스어의 메가바이트 약어인 'Mo'이고, 화면에 보이는 나머지 글은 영어입니다. 테스터는 내려받기를 '1 기가바이트'라고 부르며, 1,020 Mo는 약 1.0 GB입니다.
홈 화면(10:39)
'How can I help you today?', 추천 프롬프트 두 개('What are the benefits of meditation?', 'Explain quantum physics in simple terms'), 그리고 입력 줄: 텍스트 필드, 파란 지구본 버튼, 초록 폴더 버튼, 노란 전송 화살표.
사진은 폴더 버튼으로 첨부한 것으로 보이지만, 메모에는 적혀 있지 않습니다.
사진 입력(10:43)
테스터는 촬영한 DHL 송장을 'what is the picture about'라는 프롬프트와 함께 보냈습니다. 답변은 DHL 소포, 무게 4.7 kg, 추적 번호, 'sent from Germany to Switzerland'였습니다.
그는 이렇게 작은 앱이 사진을 읽는다는 점에 감탄했고, 'Switzerland, not sure where it got that idea.'라고 적었습니다.
무게, 추적 번호, 경로가 송장과 맞는지는 기록되어 있지 않습니다. 송장 자체가 메모에 없기 때문입니다. 의심한 것은 목적지뿐입니다.
채팅 제목은 'where is paris?'인데 화면에 보이는 메시지는 'what is the picture about'입니다. 제목은 이 채팅의 첫 질문이며, 테스터가 같은 채팅에 사진 질문을 포함한 두 질문을 더 추가했습니다.
동작 버튼: 사용자 메시지 아래에 편집, 다시 생성, 삭제, 답변 아래에 복사와 읽어 주기. 화면은 10:43에는 어두운 테마, 10:39에는 밝은 테마였으며 테마가 바뀐 경위는 기록되어 있지 않습니다. 테스터: 'it has a dark theme. Nice.'
웹 검색(10:43~10:47)
무지개색 테두리 상자에 'Searching the web...'이 표시되는 동안 지구본 버튼은 더 짙은 파란색이고 전송 화살표는 노란 사각형이 됩니다. 대기 상태에서는 지구본이 더 옅은 파란색입니다.
그는 웹 검색이 켜져 있는지 꺼져 있는지, 그리고 무엇을 하는지가 전혀 불분명하다고 느꼈습니다. 'two different shades of blue'.
10:47의 르완다 스크린샷에서도 지구본이 더 짙은 파란색인데, 웹 검색이 계속 켜져 있었음을 시사합니다.
르완다 질문(10:47)
'what is the politi...'라는 제목의 새 채팅에서, 답변의 보이는 부분은 르완다가 'has been experiencing significant political instability following the assassination of President Paul Kagame in July 2023'이라고 하며 'reputable news sources (like Reuters and BBC)'를 인용합니다. 스크린샷에는 링크가 보이지 않습니다. 질문 전문은 저장하지 않았으며, 르완다의 정치 상황에 관한 질문으로 추정합니다.
테스터가 캡처한 Google AI 개요에 따르면 Kagame는 2000년 4월 22일부터 재임 중이며 2024년 7월에 재선되었습니다. Google 자체 안내문은 AI 응답에 오류가 있을 수 있다고 밝힙니다. 이 개요에는 실존 인물의 사진이 있으므로 스크린샷은 여기에 싣지 않습니다.
PromptQuorum이 2026년 10월 21일에 추가로 웹 검색을 한 결과 그의 공식 사이트와 선거 보도가 나왔고 암살 보도는 없었습니다. 제한적인 확인입니다.
논리 스트레스 테스트와 교차 확인(10:49 이후)
ChatGPT가 'Advanced Logic Stress Test: The Blackout Protocol'이라는 제목의 프롬프트를 만들었으며, 제약 조건, 시간 추론, 모순, 다단계 연역을 시험하는 것으로 설명되어 있습니다. 테스터는 이를 Caelum에 붙여 넣었습니다.
Caelum은 'a big report'를 작성했고 1분 뒤에도 계속 쓰고 있었으며, 마지막에는 더 깊은 분석을 제안했습니다. 답변 본문은 저장하지 않았습니다. 붙여 넣은 미리 보기에서 보이는 조각은 '1. Feasibility Ve...'와 'The plan is highly improbable to...'로 시작하는 부분뿐입니다.
테스터는 답변을 ChatGPT에 붙여 넣었습니다. ChatGPT의 평가: 'The AI sounds analytical, but it makes several serious logical errors. I would score this response quite poorly', 그리고 'correct-looking conclusion — no valid plan — without establishing the actual contradiction'. 점수는 전체 5/25(제약 이해 2/5, 형식 연역 1/5, 시간 추론 1/5, 증명 품질 0/5, 지시 이행 1/5)이며 'not a standardized benchmark score'입니다. ChatGPT는 'One important correction to my own earlier analysis'라고도 썼습니다.
프롬프트 자체가 부당했는지 알아보기 위해 테스터는 같은 문제를 Grok(무료 버전), Claude Opus 5.5(medium), Claude Fable 5.1(high)에 돌리고 각 답변을 ChatGPT에 보여 주었습니다. ChatGPT는 이후 답변들을 더 높이 평가했으며('substantially better', 한 경우 논리 연역 8/10), 그래도 각각에서 오류를 찾았습니다. 예를 들어 유효한 일정이 12개라는 계산은 'are actually 13'이었고, 최소 수리 증명은 'not yet rigorous enough'였습니다.
Opus는 'in less than one minute'에 답했고, Grok은 약 3분 뒤에도 작업 중이었습니다. 둘 다 시간을 재지는 않았습니다.
그의 원칙: 항상 교차 확인하고, 하나의 모델을 믿지 말 것, 'especially not the smaller one'. 그는 또한 과제가 무엇인지 처음 설명해 준 것은 Fable이었다고 말합니다.
결정
테스터의 정리: 작은 모델이 사진을 읽는 것은 'incredible'하고, 웹 검색은 비슷한 앱 중에서 드문 편이며(PromptQuorum은 확인하지 않음), 품질은 들쭉날쭉하지만 1 GB 모델이니 놀랍지 않다고 합니다. AI가 로컬에서 실행된다는 점은 'is actually not stressed at all'이며, 사용자가 모델이 로컬에서 돌아간다는 것을 알 수 있을지 의문이라고 합니다.
계속 쓰겠느냐고요? 'No, I don't see the point.' 무료 최첨단 모델 서비스가 훨씬 많은 일을 하므로 그 파일은 공간을 차지할 가치가 없다고 합니다.
휴대폰 시계와 배터리
10:36: 첫 화면, 1,020 Mo 중 41 Mo 내려받음, ETA 3 m 8 s, 5.60 MB/s, 5G, 배터리 70%.
10:39: 채팅 홈 화면, 밝은 테마, Wi-Fi 아이콘, 배터리 67%.
10:43: 사진 질문, 어두운 테마, 웹 검색 시작, 배터리 66%와 65%.
10:47: 르완다 답변, 배터리 64%.
10:49: ChatGPT가 논리 프롬프트를 작성함(ChatGPT 앱에서), 배터리 63%. 10:55~10:56: ChatGPT가 Caelum의 논리 답변을 심사함(ChatGPT 앱에서), 배터리 59%.
배터리는 화면을 켠 채 20분 동안 70%에서 59%로 떨어졌고, 그동안 일부 시간은 ChatGPT 앱을 썼으므로 어느 것도 Caelum의 몫으로 돌릴 수 없습니다. 10:39부터 10:47까지, 대부분 Caelum 안에서는 67%에서 64%로 떨어졌습니다. 앱의 메모리 사용량을 기록하지 않았으므로(휴대폰은 12 GB) 메모리 차트는 만들 수 없습니다. 상태 표시줄의 처리량 값(채팅 스크린샷에서 0.03~0.58 KB/s)은 한 시점의 값일 뿐 트래픽 로그가 아니며, 앱이 오프라인인지 보여 주지 않습니다.