Leer seis fuentes para hallar una tendencia que valga la pena
Una sola plataforma te dice qué suena fuerte en esa plataforma. El problema de ingeniería no es juntar más publicaciones: es decidir cuál grupo de ellas es una historia real.
Un detector de tendencias que vigila una sola red aprende esa red. Va a reportar un hashtag que trescientas cuentas empujaron en una hora como si fuera noticia, y se va a perder una historia que salió en la prensa y solo llegó a las redes al día siguiente.
Vigilar varias fuentes arregla eso, e inmediatamente crea un problema más difícil: el mismo evento ahora llega seis veces, redactado de seis maneras, y tienes que reconocer que es un solo evento.
Agrupar por significado, no por palabras
Emparejar por palabras clave falla aquí, porque un titular de agencia y un comentario sobre el mismo partido casi no comparten vocabulario. Lo que funciona es convertir cada elemento en un vector con un modelo multilingüe y agrupar esos vectores, para que el texto que significa lo mismo caiga en el mismo lugar sin importar cómo se redactó.
Antes de todo eso, quita los duplicados. Una línea retuiteada copiada mil veces es una sola información, y contarla mil veces es como un tema tranquilo parece urgente.
Puntuar, y el componente que miente
Un puntaje combina varias señales: qué tan rápido sube el volumen contra su propia base, cuánto hay, qué tan cerca de casa está, cuántas fuentes distintas lo cargan y qué tan nuevo es. Los pesos deciden cuál de esas domina.
Vale nombrar una trampa. Si una señal no puede variar en tu instalación — la dispersión entre fuentes, cuando en la práctica todo viene de una sola — es cero para todos los grupos. Entonces no separa nada y simplemente baja todos los puntajes por una cantidad fija. Un componente que no aporta información debe quitarse y repartir su peso, no dejarse porque el documento de diseño lo menciona.
- Deduplica antes de contar nada, o el volumen mide copiado
- Agrupa por significado para que la misma historia de seis fuentes sea una sola
- Inclina hacia tu mercado en vez de filtrar por él: una historia global grande le sigue ganando a una local tranquila
- Quita los componentes del puntaje que no pueden variar, y dilo en la salida
La salida de todo esto es una lista ordenada para que la lea una persona, no una decisión. Cualquier cosa que actúe sola va a terminar actuando sobre un empujón coordinado, que es justo lo que el ranking no puede distinguir del interés genuino.
La ingeniería está en los pasos del medio y la honestidad está al final. Un sistema así se gana su lugar acortando la lista que una persona tiene que leer, no fingiendo que la persona sobra.