Una IA que escribe también necesita una IA que dude
Un modelo al que le pides que escriba, escribe. No te va a decir cuál frase se inventó. La solución no es un mejor prompt: es un segundo paso cuyo único trabajo es no estar de acuerdo.
Un modelo al que le pides mil palabras produce mil palabras. Ese es el problema completo. No tiene manera de avisarte que el cuarto párrafo trae una estadística que armó de la nada, porque para el modelo esa frase se generó igual que las de al lado.
Lo normal es responder reescribiendo el prompt. Agregar "no inventes datos", agregar "sé preciso", agregar tres líneas más de instrucción. Ayuda un poco y después deja de ayudar, porque le estás pidiendo a un mismo paso que produzca el texto y que lo audite, y esas dos tareas tiran para lados contrarios.
Separa al que escribe del que lee
El arreglo que funciona son dos llamadas, no una. La primera escribe. La segunda recibe el borrador terminado sin recuerdo de haberlo producido, y responde una pregunta más estrecha: cuáles afirmaciones aquí necesitarían una fuente, y el borrador la da o no.
La segunda llamada es barata, porque leer es más corto que escribir. También es medible que lo hace mejor, porque un revisor que no escribió la frase no tiene ningún interés en conservarla.
Deja que las revisiones mecánicas vayan primero
Antes de que algo llegue al crítico, corre las revisiones que no necesitan criterio. ¿Tiene la pieza la estructura que dijo tener? ¿Las dos versiones de idioma traen la misma cantidad de secciones? ¿Cada lista tiene el mismo largo en ambas? No cuestan nada y atrapan una porción sorprendente de los fallos.
- Primero las reglas mecánicas: largo, estructura, paridad entre idiomas, campos obligatorios presentes
- Después el crítico, con el único encargo de hallar afirmaciones que necesiten fuente y no la tengan
- Un borrador que falla dos veces no se publica, y el trabajo termina en error en vez de enviar algo callado
La decisión de diseño importante es qué pasa cuando falla. Un proceso que publica un borrador flojo en vez de no publicar nada, tarde o temprano publica algo que vas a tener que retractar.
Lo que esto no resuelve
Un crítico atrapa datos inventados. No hace que la pieza valga la pena, y no se va a dar cuenta de que el tema era mala idea. El criterio sobre qué decir sigue siendo tuyo. Lo que compras es un piso para la precisión, no un techo para la calidad.
Si estás corriendo cualquier modelo sin supervisión, decide ya qué tiene permitido publicar sin una persona presente. Después construye el paso que lo hace cumplir, porque el modelo no va a ofrecer ese límite por su cuenta.