LinkedIn ha revisado su algoritmo de alimentación principal, reemplazando cinco sistemas de recuperación distintos con un modelo unificado impulsado por grandes modelos de lenguaje (LLM). Este cambio, que afecta a más de 1.300 millones de usuarios, tiene como objetivo ofrecer contenido más relevante y personalizado y, al mismo tiempo, reducir los costos operativos. La medida subraya una tendencia más amplia: las principales plataformas dependen cada vez más de los LLM para manejar tareas complejas de recomendación, pero hacerlo a escala presenta desafíos de ingeniería únicos.
El problema de la fragmentación
Durante años, el feed de LinkedIn funcionó a partir de un mosaico de canales. Cada sistema está optimizado para diferentes segmentos de contenido: actualizaciones cronológicas de la red, temas de actualidad, filtrado basado en intereses, publicaciones específicas de la industria y recomendaciones basadas en incrustaciones. Si bien funcional, este enfoque condujo a mayores costos de mantenimiento e ineficiencias. Los ingenieros reconocieron que la complejidad del sistema obstaculizaba su capacidad para adaptarse al comportamiento cambiante del usuario y ofrecer experiencias verdaderamente personalizadas.
LLM como solución unificada
La solución de LinkedIn implica tres capas clave: recuperación de contenido, clasificación y gestión informática. La empresa ahora utiliza LLM para comprender el contexto profesional más profundamente, relacionando a los usuarios con contenido relevante en función tanto de sus intereses declarados (título, habilidades, industria) como de su comportamiento real a lo largo del tiempo. Este enfoque supera las limitaciones de los sistemas anteriores que luchaban por conciliar estas señales a menudo contradictorias.
El rediseño incluye un modelo patentado de Recomendación Generativa (GR). A diferencia de los sistemas de clasificación tradicionales, GR trata el historial de interacción del usuario como una secuencia continua: una “historia profesional” contada a través de patrones de participación. Esto permite que el feed comprenda los intereses a largo plazo y ofrezca contenido más significativo.
Desafíos de ingeniería a escala
Implementar LLM a la escala de LinkedIn no fue sencillo. Un obstáculo inicial implicó convertir datos estructurados (como el recuento de participación) en texto para el procesamiento de LLM. El equipo descubrió que los LLM trataban los números como tokens no estructurados, despojándolos de su significado. Para solucionar este problema, implementaron grupos de percentiles con tokens especiales, lo que permitió al modelo distinguir las señales de popularidad del texto normal.
Otro desafío clave fue optimizar los costos de computación. LinkedIn desagregó el procesamiento de funciones vinculadas a la CPU a partir de la inferencia de modelos con mucha GPU para evitar cuellos de botella. Los cargadores de datos C++ personalizados reemplazaron el multiprocesamiento de Python para reducir la sobrecarga y se desarrolló una variante Flash Attention para optimizar el cálculo de la atención. Los puntos de control paralelos maximizaron aún más el uso de memoria de la GPU.
Qué significa esto
La transición de LinkedIn pone de relieve la creciente dependencia de los LLM para los sistemas de recomendación a gran escala. Sin embargo, también demuestra que implementar estos modelos de manera efectiva requiere un esfuerzo de ingeniería significativo. El rediseño no se trata sólo de adoptar LLM; se trata de repensar cómo se representan los datos, cómo se administran los recursos informáticos y cómo se interpreta el historial del usuario. Este cambio subraya un principio fundamental: escalar las soluciones de IA a menudo requiere resolver clases de problemas completamente nuevos.
