Cómo fue la prueba
La ficha
El directorio de PromptQuorum describe Caelum como una app de chat gratuita para Android, de código cerrado, que afirma ejecutar la IA sin conexión, con preguntas sobre documentos y búsqueda web opcional. No registra ningún modelo con nombre, indica un sitio web que ya no se resuelve, más de 10K descargas en Play, Android 7.0+ y ninguna actualización desde el 14 de agosto de 2025 (datos leídos el 19 de octubre de 2026; la fecha de actualización tiene más de un año).
Primer inicio y descarga (10:36 a 10:39)
La primera pantalla dice 'downloading needed data...', 41 Mo/1020 Mo, ETA 3m 8s, con un cuadro de consejos y 'Tap to see other tips...'. La cifra de 5.60 MB/s es el indicador propio de la barra de estado.
La app nunca dice qué LLM está descargando: la pantalla muestra solo 'downloading needed data...'.
La siguiente captura, a las 10:39, muestra la pantalla de inicio del chat. No se capturó el final de la descarga, así que 'unos tres minutos' se deriva de los dos relojes.
El evaluador calificó la pantalla de 'very colorful, very beautiful' y la zona de entrada de 'a little bit crowded'.
La unidad mostrada es 'Mo', la abreviatura francesa de megabyte, mientras que el resto del texto visible está en inglés. El evaluador llama a la descarga 'one gigabyte'; 1,020 Mo son aproximadamente 1.0 GB.
Pantalla de inicio (10:39)
'How can I help you today?', dos prompts sugeridos ('What are the benefits of meditation?', 'Explain quantum physics in simple terms') y una fila de entrada: campo de texto, botón azul con un globo, botón verde con una carpeta y flecha de envío amarilla.
El botón de la carpeta es la forma en que se adjuntó la foto; las notas no lo indican.
Entrada de fotos (10:43)
El evaluador envió la foto de un albarán de DHL con el prompt 'what is the picture about'. La respuesta: un paquete de DHL, peso 4.7 kg, un número de seguimiento, 'sent from Germany to Switzerland'.
Le impresionó que una app tan pequeña lea imágenes, y escribió: 'Switzerland, not sure where it got that idea.'
No se registra si el peso, el número de seguimiento y la ruta coinciden con el albarán: el albarán no figura en las notas. Solo se cuestionó el destino.
El título del chat dice 'where is paris?' mientras que el mensaje visible es 'what is the picture about'. El título es la primera pregunta del chat: el evaluador había añadido otras dos preguntas, entre ellas la de la foto, al mismo chat.
Botones de acción: editar, regenerar y borrar bajo el mensaje del usuario; copiar y leer en voz alta bajo la respuesta. La pantalla estaba en tema oscuro a las 10:43 y en tema claro a las 10:39; no se registra cómo cambió el tema. El evaluador: 'it has a dark theme. Nice.'
Búsqueda web (10:43 a 10:47)
Mientras un cuadro con borde arcoíris dice 'Searching the web...', el botón del globo es de un azul más oscuro y la flecha de envío se convierte en un cuadrado amarillo. En reposo, el globo es de un azul más claro.
Le resultó totalmente poco claro cuándo está activada o desactivada la búsqueda web y qué hace: 'two different shades of blue'.
El globo también es de un azul más oscuro en la captura de Ruanda de las 10:47, lo que sugiere que la búsqueda web siguió activada.
La pregunta sobre Ruanda (10:47)
En un chat nuevo titulado 'what is the politi...', la parte visible de la respuesta dice que Ruanda 'has been experiencing significant political instability following the assassination of President Paul Kagame in July 2023', citando 'reputable news sources (like Reuters and BBC)'. No se ven enlaces en la captura. No se capturó la pregunta completa; se supone que era una pregunta sobre la situación política de Ruanda.
Un Resumen de IA de Google, que capturó el evaluador, indica que Kagame ocupa el cargo desde el 22 de abril de 2000 y que ganó la reelección en julio de 2024; la propia nota de Google dice que las respuestas de IA pueden contener errores. El Resumen muestra la foto de una persona real, por lo que la captura no se publica aquí.
Una búsqueda web adicional de PromptQuorum el 21 de octubre de 2026 encontró su sitio oficial y un informe electoral, y ningún informe de un asesinato. Es una comprobación limitada.
Prueba de estrés de lógica y contraste (desde las 10:49)
ChatGPT produjo un prompt titulado 'Advanced Logic Stress Test: The Blackout Protocol', descrito como una prueba de restricciones, razonamiento temporal, contradicciones y deducción en varios pasos. El evaluador lo pegó en Caelum.
Caelum escribió 'a big report' y un minuto después seguía escribiendo; terminó ofreciendo profundizar más. No se capturó el texto de su respuesta; el único fragmento visible, en una vista previa pegada, empieza por '1. Feasibility Ve...' y 'The plan is highly improbable to...'.
El evaluador pegó la respuesta en ChatGPT. Su veredicto: 'The AI sounds analytical, but it makes several serious logical errors. I would score this response quite poorly', con la 'correct-looking conclusion — no valid plan — without establishing the actual contradiction'. Sus puntuaciones: 5/25 en total (comprensión de restricciones 2/5, deducción formal 1/5, razonamiento temporal 1/5, calidad de la demostración 0/5, seguimiento de instrucciones 1/5), 'not a standardized benchmark score'. ChatGPT escribió además: 'One important correction to my own earlier analysis'.
Para comprobar si el propio prompt era injusto, el evaluador lo pasó por Grok (versión gratuita), Claude Opus 5.5 (medium) y Claude Fable 5.1 (high) y mostró cada respuesta a ChatGPT. ChatGPT valoró mejor las respuestas posteriores ('substantially better', 8/10 en deducción lógica en un caso) y aun así encontró errores en cada una, por ejemplo un recuento de 12 calendarios válidos que 'are actually 13', y una demostración de reparación mínima 'not yet rigorous enough'.
Opus respondió 'in less than one minute'; Grok seguía trabajando tras unos tres minutos. Ninguno se cronometró.
Su regla: contrastar siempre, no fiarse nunca de un solo modelo, 'especially not the smaller one'. También dice que Fable fue el primero en explicar en qué consistía la tarea.
La decisión
El evaluador resume: leer imágenes es 'incredible' para un modelo pequeño; la búsqueda web es poco habitual entre apps comparables (PromptQuorum no lo comprobó); la calidad es irregular, lo que no sorprende en un modelo de 1 GB. La naturaleza local de la IA 'is actually not stressed at all', y duda de que un usuario sepa que el modelo se ejecuta en local.
¿Se quedaría con ella? 'No, I don't see the point.' Los servicios gratuitos con modelos de frontera hacen mucho más, así que el archivo no merece el espacio.
Reloj del teléfono y batería
10:36: primera pantalla, 41 Mo de 1,020 Mo descargados, ETA 3 m 8 s, 5.60 MB/s, 5G, batería 70%.
10:39: pantalla de inicio del chat, tema claro, icono de Wi-Fi, batería 67%.
10:43: pregunta con foto, tema oscuro, empieza la búsqueda web, batería 66% y 65%.
10:47: respuesta sobre Ruanda, batería 64%.
10:49: ChatGPT escribe el prompt de lógica (en la app de ChatGPT), batería 63%. De 10:55 a 10:56: ChatGPT juzga la respuesta de lógica de Caelum (en la app de ChatGPT), batería 59%.
La batería bajó del 70% al 59% en 20 minutos con la pantalla encendida y con la app de ChatGPT en uso durante parte de ese tiempo, así que nada de ello puede atribuirse a Caelum. Entre las 10:39 y las 10:47, sobre todo dentro de Caelum, bajó del 67% al 64%. No es posible un gráfico de memoria porque no se registró el uso de memoria de la app (el teléfono tiene 12 GB). Las lecturas de rendimiento de red de la barra de estado (de 0.03 a 0.58 KB/s en las capturas del chat) son instantáneas aisladas, no un registro de tráfico, y no muestran si la app está sin conexión.