¿Qué es el caching de prompts para LLMs locales?

Leer en:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Respuesta rápida

El caching de prompts guarda la caché de clave-valor (KV) calculada para el prefijo de un prompt, de modo que no necesite recalcularse cuando una solicitud posterior comparte ese mismo prefijo — un prompt de sistema fijo, un documento reutilizado o turnos de conversación anteriores. Reduce significativamente el tiempo de procesamiento del prompt en cargas de trabajo con prefijo repetido, pero no aporta ningún beneficio cuando cada solicitud es independiente.

▸Guarda en caché el KV del prefijo de un prompt, no la salida del modelo
▸Mayor beneficio: prompts de sistema largos y fijos, documentos reutilizados, conversaciones de varios turnos
▸Sin beneficio para solicitudes puntuales sin prefijo compartido entre llamadas

Actualizado: 15 de julio de 2026

Technique & Concept ExplainersIntermedio

Puntos clave

✓El caching de prompts guarda la caché KV calculada para el prefijo de un prompt, permitiendo que una solicitud posterior la reutilice en lugar de reprocesar los mismos tokens
✓Cuanto mayor y más repetido sea el prefijo compartido, mayor será la mejora de velocidad — un prompt de sistema largo e inmutable, reutilizado en miles de solicitudes, se beneficia enormemente
✓Las conversaciones de varios turnos se benefician automáticamente en la mayoría de las configuraciones de serving local, ya que cada nuevo turno comparte toda la conversación previa como prefijo
✓El caching solo ayuda en el procesamiento del prompt (la entrada), no en la generación de tokens (la salida) — reduce el tiempo hasta el primer token, no los tokens por segundo una vez que empieza la generación

Cómo el caching acelera realmente las cosas

Procesar un prompt significa que el modelo calcula una representación clave-valor (KV) para cada token de entrada antes de poder empezar a generar una respuesta. Este paso — el procesamiento del prompt — ocurre antes de que comience la generación, y su coste escala con la longitud del prompt. Sin caching, un prompt de sistema largo se reprocesa por completo en cada solicitud, incluso si es idéntico byte a byte cada vez.

El caching guarda esa representación KV calculada para un prefijo determinado, indexada según la secuencia exacta de tokens. Cuando una nueva solicitud comienza con los mismos tokens, los valores KV en caché se reutilizan directamente, y solo la porción nueva y no cacheada del prompt necesita procesarse. El efecto práctico es que el tiempo hasta el primer token cae drásticamente en los aciertos de caché, ya que la mayor parte de la entrada ya no necesita recalcularse.

Por eso las conversaciones de varios turnos se benefician casi automáticamente: el turno 3 de una conversación incluye los turnos 1 y 2 como su prefijo, así que una configuración de serving consciente del caching solo procesa el turno más reciente, no todo el historial de la conversación de nuevo.

Cómo estructurar prompts para beneficiarte realmente

▸**Coloca primero el contenido compartido e invariable.** Los prompts de sistema, instrucciones y documentos de referencia que permanecen idénticos entre solicitudes deben ir antes del contenido variable y específico de cada solicitud — el caching solo funciona con un prefijo que coincida exactamente, así que todo lo que precede al primer punto de diferencia es lo que se reutiliza.
▸**Mantén el prefijo compartido idéntico byte a byte entre solicitudes.** Incluso una sola diferencia de carácter en un prompt de sistema (una marca de tiempo, un ID aleatorio) rompe la coincidencia del prefijo y fuerza un reprocesamiento completo — mueve cualquier variación específica de la solicitud al final del prompt, después del contenido reutilizable.
▸**No esperes que el caching ayude en solicitudes puntuales y no relacionadas.** Si tu carga de trabajo consiste sobre todo en preguntas de un solo uso sin configuración compartida, no hay nada que el caching pueda reutilizar — el valor de la técnica es proporcional a cuánto de tu tráfico realmente comparte un prefijo común.
▸**Las conversaciones de larga duración se benefician más de los ajustes de retención de caché.** Comprueba durante cuánto tiempo tu configuración de serving conserva los prefijos en caché antes de descartarlos — una caché que se descarta demasiado agresivamente no ayudará a conversaciones con pausas entre turnos.

Preguntas Frecuentes

¿El caching de prompts cambia la salida del modelo?▾

No. El caching solo afecta a cómo se procesa internamente el prefijo compartido — produce resultados matemáticamente idénticos a un reprocesamiento completo, solo que más rápido. Es una optimización de rendimiento, no un cambio en el comportamiento o la calidad del modelo.

¿El caching de prompts ayuda a la velocidad de generación de tokens, o solo al tiempo de respuesta inicial?▾

Solo al tiempo de respuesta inicial (tiempo hasta el primer token). Una vez que empieza la generación, los tokens se siguen produciendo uno a uno a la misma velocidad de generación sin importar el caching — el caching elimina el trabajo redundante de procesamiento del prompt, no el paso de generación en sí.

¿Cuánta VRAM usa el caching?▾

Los datos KV en caché residen en la VRAM junto al propio modelo, y su tamaño escala con la cantidad de contexto que se está cacheando y con el número de conversaciones concurrentes. Cachear muchas conversaciones largas simultáneamente puede aumentar de forma notable el uso de VRAM — es un compromiso real frente a la profundidad de caching en hardware con VRAM limitada.

¿Todas las herramientas de serving local admiten el caching de prompts?▾

El soporte y el comportamiento por defecto varían según la herramienta — algunas cachean automáticamente para uso de varios turnos dentro de una sesión, otras requieren configuración explícita, y la retención de caché (cuánto tiempo permanece un prefijo en caché antes de descartarse) también depende de la herramienta. Consulta la documentación de tu herramienta de serving específica para conocer su comportamiento de caching y los ajustes que lo controlan.

Prompt Bites relacionados

← Volver a Prompts en breve