LinkedIn переработала основной алгоритм своей ленты новостей, заменив пять отдельных систем извлечения данных на единую модель, основанную на больших языковых моделях (LLM). Этот шаг, затрагивающий более 1,3 миллиарда пользователей, направлен на предоставление более релевантного и персонализированного контента при одновременном снижении операционных расходов. Этот переход отражает более широкую тенденцию: крупные платформы все чаще полагаются на LLM для выполнения сложных задач рекомендаций, но масштабирование этого сопряжено с уникальными инженерными проблемами.
Проблема Фрагментации
На протяжении многих лет лента новостей LinkedIn работала на основе лоскутного подхода. Каждая система оптимизирована для различных фрагментов контента — хронологических обновлений сети, популярных тем, фильтрации на основе интересов, отраслевых публикаций и рекомендаций на основе эмбеддингов. Несмотря на свою функциональность, этот подход приводил к росту затрат на обслуживание и неэффективности. Инженеры признали, что сложность системы препятствует ее способности адаптироваться к меняющемуся поведению пользователей и обеспечивать действительно персонализированный опыт.
LLM как Унифицированное Решение
Решение LinkedIn включает три ключевых уровня: извлечение контента, ранжирование и управление вычислениями. Компания теперь использует LLM для более глубокого понимания профессионального контекста, сопоставляя пользователей с релевантным контентом на основе как заявленных интересов (должность, навыки, отрасль), так и фактического поведения с течением времени. Этот подход преодолевает ограничения предыдущих систем, которые не могли согласовать эти часто противоречивые сигналы.
В редизайн включена запатентованная генеративная модель рекомендаций (GR). В отличие от традиционных систем ранжирования, GR рассматривает историю взаимодействия с пользователем как непрерывную последовательность — «профессиональную историю», рассказанную через закономерности вовлечения. Это позволяет ленте понимать долгосрочные интересы и предоставлять более значимый контент.
Инженерные Проблемы в Масштабе
Развертывание LLM в масштабе LinkedIn не было простым. Одним из первоначальных препятствий стало преобразование структурированных данных (например, счетчиков вовлечения) в текст для обработки LLM. Команда обнаружила, что LLM рассматривает числа как неструктурированные токены, лишая их значения. Чтобы исправить это, они реализовали процентильные диапазоны со специальными токенами, позволяя модели различать сигналы популярности и обычный текст.
Еще одной ключевой задачей была оптимизация вычислительных затрат. LinkedIn отделила вычисления, связанные с ЦП (центральным процессором), для обработки признаков от вычислений, требующих графических процессоров (GPU) для вывода моделей, чтобы избежать узких мест. Пользовательские загрузчики данных на C++ заменили многопроцессорность Python для снижения накладных расходов, а вариант Flash Attention был разработан для оптимизации вычислений внимания. Параллельное создание контрольных точек также максимально увеличило использование памяти GPU.
Что Это Означает
Переход LinkedIn подчеркивает растущую зависимость от LLM для крупномасштабных систем рекомендаций. Однако он также демонстрирует, что эффективное развертывание этих моделей требует значительных инженерных усилий. Редизайн касается не только внедрения LLM; речь идет о переосмыслении того, как представлены данные, как управляются вычислительные ресурсы и как интерпретируется история пользователя. Этот сдвиг подчеркивает фундаментальный принцип: масштабирование решений на основе искусственного интеллекта часто требует решения совершенно новых классов проблем.
