La mayor parte de tu factura de IA es lo que mandas cada vez
Las instrucciones al inicio de tu prompt no cambian entre llamadas. Estás pagando precio completo por mandarlas de nuevo en cada solicitud, y probablemente no haga falta.
Un prompt que funciona normalmente tiene dos partes. Una parte larga y estable — las instrucciones, las reglas, los ejemplos de buena salida — y una parte corta y variable, que es la solicitud real. La parte estable suele ser diez veces más larga que la variable.
Sin caché pagas cada token de esa parte estable en cada llamada. Corre un trabajo cien veces al día y ya pagaste las mismas instrucciones cien veces.
Qué cambia el caché en realidad
El caché de prompts le permite al proveedor guardar ese prefijo estable y reutilizarlo. La primera llamada paga un sobreprecio por escribir el caché. Cada llamada posterior lo lee con un descuento fuerte en vez de pagar la tarifa normal de entrada.
La forma del ahorro es lo que importa: mejora mientras más llamas, y solo funciona si la parte estable es realmente idéntica y realmente va adelante. Mueve un carácter cerca del inicio y ya tienes otro prefijo y una escritura de caché nueva.
Cuenta la escritura, no solo la lectura
El error común al reportar costos es contar las lecturas del caché y olvidar que escribirlo cuesta más que la entrada normal, no menos. Si la primera llamada de cada ciclo paga ese sobreprecio y nunca lo registras, tu gasto reportado es menor que tu factura.
- Pon todo lo que no cambia justo al inicio, en un orden fijo
- Deja la parte variable — la solicitud real — al final
- Registra cuatro números por llamada, no dos: entrada, salida, lectura de caché, escritura de caché
- Vuelve a revisar después de cualquier edición del prompt; un cambio cerca del inicio invalida el caché de todas las llamadas siguientes
Si solo sigues dos números no vas a poder distinguir un mes barato de uno caro hasta que llegue la factura. Cuatro números por llamada son la diferencia entre una estimación y una adivinanza.
Cuándo no vale la pena
Si llamas a un modelo unas pocas veces al día, el caché te ahorra muy poco y agrega algo que puedes hacer mal. Se gana su lugar con volumen y con instrucciones largas y estables. Mide antes de reestructurar un prompt alrededor de él.