Caelum em um celular Android: lê uma etiqueta de encomenda, tropeça em fatos e lógica (outras IAs também tropeçaram na lógica)

O diretório da PromptQuorum lista o Caelum como um app de chat gratuito, de código fechado, para Android, que diz rodar a IA offline, com perguntas sobre documentos e busca opcional na web. Ele não registra nenhum modelo nomeado, traz um site que não resolve mais, mais de 10 mil downloads no Google Play, Android 7.0+ e nenhuma atualização desde 14 de agosto de 2025 (dados lidos em 19 de outubro de 2026; a data da atualização tem mais de um ano).

A primeira tela diz 'downloading needed data...', 41 Mo/1020 Mo, ETA 3m 8s, com uma caixa de dicas e 'Tap to see other tips...'. O valor de 5.60 MB/s é o indicador da própria barra de status.

O app nunca diz qual LLM está baixando: a tela mostra apenas 'downloading needed data...'.

A captura seguinte, às 10:39, mostra a tela inicial do chat. O fim do download não foi capturado em tela, então o valor de cerca de três minutos é derivado dos dois relógios.

O testador chamou a tela de 'very colorful, very beautiful' (muito colorida, muito bonita) e a área de entrada de 'a little bit crowded' (um pouco apertada).

A unidade exibida é 'Mo', a abreviação francesa de megabyte, enquanto o restante do texto visível está em inglês. O testador chama o download de 'um gigabyte'; 1,020 Mo equivalem a cerca de 1,0 GB.

'How can I help you today?', dois prompts sugeridos ('What are the benefits of meditation?', 'Explain quantum physics in simple terms') e uma linha de entrada: campo de texto, botão de globo azul, botão de pasta verde, seta de envio amarela.

O botão de pasta é como a foto foi anexada; as anotações não dizem.

O testador enviou a foto de uma etiqueta da DHL com o prompt 'what is the picture about'. A resposta: um pacote da DHL, peso de 4,7 kg, um número de rastreamento, 'sent from Germany to Switzerland'.

Ele ficou impressionado por um app tão pequeno ler imagens, e escreveu: 'Switzerland, not sure where it got that idea.' (Suíça, não sei de onde tirou essa ideia.)

Não está registrado se o peso, o número de rastreamento e a rota correspondem à etiqueta: a etiqueta em si não está nas anotações. Só o destino foi questionado.

O título do chat é 'where is paris?' enquanto a mensagem visível é 'what is the picture about'. O título é a primeira pergunta do chat: o testador havia adicionado duas outras perguntas, incluindo a da foto, ao mesmo chat.

Botões de ação: editar, regenerar e excluir sob a mensagem do usuário; copiar e ler em voz alta sob a resposta. A tela estava no tema escuro às 10:43 e no tema claro às 10:39; como o tema mudou não está registrado. O testador: 'it has a dark theme. Nice.' (tem tema escuro. Legal.)

Enquanto uma caixa com borda arco-íris diz 'Searching the web...', o botão de globo fica azul mais escuro e a seta de envio vira um quadrado amarelo. Em repouso, o globo é azul mais claro.

Ele achou totalmente pouco claro quando a busca na web está ligada ou desligada e o que ela faz: 'two different shades of blue' (dois tons diferentes de azul).

O globo também está azul mais escuro na captura de Ruanda às 10:47, o que sugere que a busca na web continuou ligada.

Em um novo chat intitulado 'what is the politi...', a parte visível da resposta diz que Ruanda 'has been experiencing significant political instability following the assassination of President Paul Kagame in July 2023', citando 'reputable news sources (like Reuters and BBC)'. Nenhum link é visível na captura de tela. A pergunta completa não foi capturada; presume-se que seja uma pergunta sobre a situação política em Ruanda.

Uma Visão geral de IA do Google, que o testador capturou, diz que Kagame está no cargo desde 22 de abril de 2000 e venceu a reeleição em julho de 2024; a própria nota do Google diz que respostas de IA podem conter erros. A Visão geral mostra a foto de uma pessoa real, por isso a captura de tela não é publicada aqui.

Uma nova busca na web feita pela PromptQuorum em 21 de outubro de 2026 encontrou o site oficial dele e uma reportagem sobre a eleição, e nenhum relato de assassinato. É uma checagem limitada.

O ChatGPT produziu um prompt intitulado 'Advanced Logic Stress Test: The Blackout Protocol', descrito como um teste de restrições, raciocínio temporal, contradições e dedução em várias etapas. O testador o colou no Caelum.

O Caelum escreveu 'a big report' (um relatório grande) e um minuto depois ainda estava escrevendo; terminou oferecendo um aprofundamento. O texto da resposta não foi capturado; o único trecho visível, em uma prévia colada, começa com '1. Feasibility Ve...' e 'The plan is highly improbable to...'.

O testador colou a resposta no ChatGPT. Veredito dele: 'The AI sounds analytical, but it makes several serious logical errors. I would score this response quite poorly', com a 'correct-looking conclusion — no valid plan — without establishing the actual contradiction'. Notas: 5/25 no geral (compreensão das restrições 2/5, dedução formal 1/5, raciocínio temporal 1/5, qualidade da prova 0/5, cumprimento das instruções 1/5), 'not a standardized benchmark score'. O ChatGPT também escreveu: 'One important correction to my own earlier analysis'.

Para testar se o próprio prompt era injusto, o testador o rodou no Grok (versão gratuita), no Claude Opus 5.5 (medium) e no Claude Fable 5.1 (high) e mostrou cada resposta ao ChatGPT. O ChatGPT avaliou as respostas posteriores como melhores ('substantially better', 8/10 em dedução lógica em um caso) e ainda encontrou erros em cada uma, por exemplo uma contagem de 12 agendas válidas que 'are actually 13', e uma prova de reparo mínimo 'not yet rigorous enough'.

O Opus respondeu 'in less than one minute' (em menos de um minuto); o Grok ainda estava trabalhando depois de cerca de três minutos. Nenhum dos dois foi cronometrado.

A regra dele: sempre conferir, nunca confiar em um único modelo, 'especially not the smaller one' (principalmente não no menor). Ele também diz que o Fable foi o primeiro a explicar qual era a tarefa.

O testador resume: ler imagens é 'incredible' (incrível) para um modelo pequeno; a busca na web é incomum entre apps comparáveis (não conferido pela PromptQuorum); a qualidade é irregular, o que não surpreende em um modelo de 1 GB. A natureza local da IA 'is actually not stressed at all' (na verdade não é destacada), e ele duvida que um usuário saiba que o modelo roda localmente.

Ele manteria o app? 'No, I don't see the point.' (Não, não vejo sentido.) Serviços gratuitos com modelos de ponta fazem muito mais, então o arquivo não vale o espaço.

10:36: primeira tela, 41 Mo de 1,020 Mo baixados, ETA 3 m 8 s, 5.60 MB/s, 5G, bateria em 70%.

10:39: tela inicial do chat, tema claro, ícone de Wi-Fi, bateria em 67%.

10:43: pergunta com foto, tema escuro, a busca na web começa, bateria em 66% e 65%.

10:47: resposta sobre Ruanda, bateria em 64%.

10:49: o ChatGPT escreve o prompt de lógica (no app do ChatGPT), bateria em 63%. 10:55 a 10:56: o ChatGPT julga a resposta de lógica do Caelum (no app do ChatGPT), bateria em 59%.

A bateria caiu de 70% para 59% em 20 minutos com a tela ligada e com o app do ChatGPT em uso durante parte desse tempo, então nada disso pode ser atribuído ao Caelum. Entre 10:39 e 10:47, principalmente dentro do Caelum, ela caiu de 67% para 64%. Não é possível fazer um gráfico de memória porque o uso de memória do app não foi registrado (o celular tem 12 GB). As leituras de taxa de transferência na barra de status (0.03 a 0.58 KB/s nas capturas do chat) são instantâneos isolados, não um registro de tráfego, e não mostram se o app está offline.