Caelum sur un téléphone Android : lit un bordereau de colis, mais trébuche sur les faits et la logique (d'autres IA ont aussi trébuché sur la logique)

L'annuaire PromptQuorum présente Caelum comme une appli de chat Android gratuite, à code fermé, qui dit exécuter l'IA hors ligne, avec questions sur des documents et recherche web optionnelle. Il ne consigne aucun modèle nommé, un site web qui ne répond plus, plus de 10 000 téléchargements sur Play, Android 7.0+ et aucune mise à jour depuis le 14 août 2025 (données lues le 19 octobre 2026 ; la date de mise à jour remonte à plus d'un an).

Le premier écran indique 'downloading needed data...', 41 Mo/1020 Mo, ETA 3m 8s, avec un encadré de conseil et 'Tap to see other tips...'. Le chiffre de 5.60 MB/s est l'indicateur propre de la barre d'état.

L'appli ne dit jamais quel LLM elle télécharge : l'écran affiche seulement 'downloading needed data...'.

La capture suivante, à 10:39, montre l'écran d'accueil du chat. La fin du téléchargement n'a pas été capturée ; « environ trois minutes » est donc déduit des deux horloges.

Le testeur a qualifié l'écran de « très coloré, très beau » et la zone de saisie de « un peu chargée ».

L'unité affichée est 'Mo', l'abréviation française de mégaoctet, alors que le reste du texte visible est en anglais. Le testeur parle d'un téléchargement d'« un gigaoctet » ; 1,020 Mo font environ 1,0 GB.

'How can I help you today?', deux suggestions ('What are the benefits of meditation?', 'Explain quantum physics in simple terms') et une ligne de saisie : champ de texte, bouton globe bleu, bouton dossier vert, flèche d'envoi jaune.

Le bouton dossier est la façon dont la photo a été jointe ; les notes ne le disent pas.

Le testeur a envoyé la photo d'un bordereau DHL avec la consigne 'what is the picture about'. La réponse : un colis DHL, poids 4.7 kg, un numéro de suivi, 'sent from Germany to Switzerland'.

Il a été impressionné qu'une si petite appli lise des images, et a écrit : « Switzerland, not sure where it got that idea. »

Que le poids, le numéro de suivi et le trajet correspondent au bordereau n'est pas consigné : le bordereau lui-même ne figure pas dans les notes. Seule la destination a été mise en doute.

Le titre du chat est 'where is paris?' alors que le message visible est 'what is the picture about'. Le titre est la première question du chat : le testeur avait ajouté deux autres questions, dont celle sur la photo, dans le même chat.

Boutons d'action : modifier, régénérer et supprimer sous le message de l'utilisateur ; copier et lecture à voix haute sous la réponse. L'écran était en thème sombre à 10:43 et en thème clair à 10:39 ; la façon dont le thème a changé n'est pas consignée. Le testeur : « it has a dark theme. Nice. »

Tandis qu'un encadré à bordure arc-en-ciel affiche 'Searching the web...', le bouton globe est d'un bleu plus foncé et la flèche d'envoi devient un carré jaune. Au repos, le globe est d'un bleu plus clair.

Il a trouvé totalement flou quand la recherche web est activée ou non et ce qu'elle fait : « two different shades of blue ».

Le globe est aussi d'un bleu plus foncé sur la capture du Rwanda à 10:47, ce qui laisse penser que la recherche web est restée activée.

Dans un nouveau chat intitulé 'what is the politi...', la partie visible de la réponse dit que le Rwanda 'has been experiencing significant political instability following the assassination of President Paul Kagame in July 2023', en citant 'reputable news sources (like Reuters and BBC)'. Aucun lien n'est visible sur la capture. La question complète n'a pas été capturée ; on suppose qu'il s'agissait d'une question sur la situation politique au Rwanda.

Une présentation IA de Google, capturée par le testeur, indique que Kagame est en fonction depuis le 22 avril 2000 et a été réélu en juillet 2024 ; la mention de Google précise que les réponses de l'IA peuvent comporter des erreurs. La présentation montre la photo d'une personne réelle ; la capture n'est donc pas publiée ici.

Une recherche web complémentaire de PromptQuorum le 21 octobre 2026 a trouvé son site officiel et un compte rendu d'élection, et aucun rapport d'assassinat. Il s'agit d'une vérification limitée.

ChatGPT a produit une consigne intitulée 'Advanced Logic Stress Test: The Blackout Protocol', décrite comme testant les contraintes, le raisonnement temporel, les contradictions et la déduction en plusieurs étapes. Le testeur l'a collée dans Caelum.

Caelum a écrit 'a big report' et, une minute plus tard, écrivait encore ; il a fini par proposer d'approfondir. Le texte de sa réponse n'a pas été capturé ; le seul fragment visible, dans un aperçu collé, commence par '1. Feasibility Ve...' et 'The plan is highly improbable to...'.

Le testeur a collé la réponse dans ChatGPT. Son verdict : « The AI sounds analytical, but it makes several serious logical errors. I would score this response quite poorly », avec la « correct-looking conclusion — no valid plan — without establishing the actual contradiction ». Ses notes : 5/25 au total (compréhension des contraintes 2/5, déduction formelle 1/5, raisonnement temporel 1/5, qualité de la preuve 0/5, respect des consignes 1/5), « not a standardized benchmark score ». ChatGPT a aussi écrit : « One important correction to my own earlier analysis ».

Pour vérifier si la consigne elle-même était injuste, le testeur l'a soumise à Grok (version gratuite), Claude Opus 5.5 (medium) et Claude Fable 5.1 (high) et a montré chaque réponse à ChatGPT. ChatGPT a jugé les réponses suivantes meilleures (« substantially better », 8/10 en déduction logique dans un cas) et a quand même trouvé des erreurs dans chacune, par exemple un décompte de 12 plannings valides qui « are actually 13 », et une preuve de réparation minimale « not yet rigorous enough ».

Opus a répondu « in less than one minute » ; Grok travaillait encore après environ trois minutes. Aucun des deux n'a été chronométré.

Sa règle : toujours vérifier par recoupement, ne jamais se fier à un seul modèle, « especially not the smaller one ». Il dit aussi que Fable a été le premier à expliquer en quoi consistait la tâche.

Le testeur résume : lire des images est « incredible » pour un petit modèle ; la recherche web est inhabituelle parmi les applis comparables (non vérifié par PromptQuorum) ; la qualité est inégale, ce qui n'étonne pas d'un modèle de 1 GB. Le caractère local de l'IA « is actually not stressed at all », et il doute qu'un utilisateur sache que le modèle tourne en local.

Le garderait-il ? « No, I don't see the point. » Les services gratuits sur des modèles de pointe font bien plus, le fichier ne vaut donc pas la place qu'il prend.

10:36 : premier écran, 41 Mo sur 1,020 Mo téléchargés, ETA 3 m 8 s, 5.60 MB/s, 5G, batterie 70 %.

10:39 : écran d'accueil du chat, thème clair, icône Wi-Fi, batterie 67 %.

10:43 : question avec photo, thème sombre, début de la recherche web, batterie 66 % puis 65 %.

10:47 : réponse sur le Rwanda, batterie 64 %.

10:49 : ChatGPT rédige la consigne de logique (dans l'appli ChatGPT), batterie 63 %. 10:55 à 10:56 : ChatGPT juge la réponse de logique de Caelum (dans l'appli ChatGPT), batterie 59 %.

La batterie est passée de 70 % à 59 % en 20 minutes, écran allumé et avec l'appli ChatGPT utilisée pendant une partie de ce temps ; rien de cela ne peut donc être attribué à Caelum. Entre 10:39 et 10:47, surtout dans Caelum, elle est passée de 67 % à 64 %. Aucun graphique de mémoire n'est possible car l'usage mémoire de l'appli n'a pas été consigné (le téléphone a 12 GB). Les débits de la barre d'état (0.03 à 0.58 KB/s sur les captures du chat) sont des instantanés isolés, pas un journal de trafic, et ne montrent pas si l'appli est hors ligne.