LinkedIn dokonał przeglądu podstawowego algorytmu swojego kanału aktualności, zastępując pięć oddzielnych systemów eksploracji danych jednym modelem opartym na dużych modelach językowych (LLM). To posunięcie, które dotyczy ponad 1,3 miliarda użytkowników, ma na celu zapewnienie bardziej odpowiednich i spersonalizowanych treści przy jednoczesnym obniżeniu kosztów operacyjnych. Ta zmiana odzwierciedla szerszy trend: duże platformy w coraz większym stopniu polegają na LLM przy wykonywaniu złożonych zadań rekomendacyjnych, ale skalowanie tego stwarza wyjątkowe wyzwania inżynieryjne.
Problem fragmentacji
Przez lata kanał informacyjny LinkedIn działał w oparciu o podejście patchworkowe. Każdy system jest zoptymalizowany pod kątem różnych treści — chronologicznych aktualizacji sieci, popularnych tematów, filtrowania opartego na zainteresowaniach, publikacji branżowych i rekomendacji opartych na osadzaniu. Chociaż podejście to jest funkcjonalne, spowodowało zwiększone koszty utrzymania i nieefektywność. Inżynierowie uznali, że złożoność systemu ogranicza jego zdolność do dostosowywania się do zmieniających się zachowań użytkowników i zapewniania naprawdę spersonalizowanych doświadczeń.
LLM jako ujednolicone rozwiązanie
Rozwiązanie LinkedIn obejmuje trzy kluczowe warstwy: ekstrakcję treści, ranking i zarządzanie obliczeniami. Firma korzysta obecnie z LLM, aby lepiej zrozumieć kontekst zawodowy, dopasowując użytkowników do odpowiednich treści w oparciu zarówno o wyrażone zainteresowania (stanowisko, umiejętności, branża), jak i rzeczywiste zachowanie w czasie. Takie podejście przezwycięża ograniczenia poprzednich systemów, które nie były w stanie pogodzić tych często sprzecznych sygnałów.
Przeprojektowanie uwzględnia autorski model rekomendacji generatywnych (GR). W przeciwieństwie do tradycyjnych systemów rankingowych, GR postrzega historię doświadczeń użytkownika jako ciągłą sekwencję – „historię zawodową” opowiedzianą poprzez wzorce zaangażowania. Dzięki temu kanał może zrozumieć długoterminowe zainteresowania i zapewnić bardziej trafne treści.
Problemy inżynieryjne na dużą skalę
Wdrożenie LLM na skalę LinkedIn nie było łatwe. Jedną z początkowych przeszkód była konwersja danych strukturalnych (np. liczby zaangażowań) na tekst na potrzeby przetwarzania LLM. Zespół odkrył, że LLM traktuje liczby jako nieustrukturyzowane żetony, pozbawiając je znaczenia. Aby temu zaradzić, zaimplementowano zakresy percentylowe ze specjalnymi tokenami, umożliwiając modelowi rozróżnienie sygnałów popularności od zwykłego tekstu.
Kolejnym kluczowym wyzwaniem była optymalizacja kosztów obliczeniowych. LinkedIn oddzielił obliczenia procesora (jednostki centralnej) do przetwarzania funkcji od obliczeń wymagających jednostek przetwarzania grafiki (GPU) do wnioskowania o modelu, aby uniknąć wąskich gardeł. Niestandardowe moduły ładujące dane C++ zastąpiły przetwarzanie wieloprocesowe Pythona, aby zmniejszyć obciążenie, a wariant Flash Attention został opracowany w celu optymalizacji obliczeń uwagi. Równoległe punkty kontrolne również zmaksymalizowały wykorzystanie pamięci GPU.
Co to oznacza?
Przejście LinkedIn podkreśla rosnącą zależność od programów LLM w przypadku wielkoskalowych systemów rekomendacji. Pokazuje jednak również, że efektywne wdrożenie tych modeli wymaga znacznych wysiłków inżynieryjnych. Przeprojektowanie nie dotyczy tylko wdrożenia LLM; chodzi o ponowne przemyślenie sposobu prezentacji danych, zarządzania zasobami obliczeniowymi i interpretacji historii użytkownika. Ta zmiana podkreśla podstawową zasadę: skalowanie rozwiązań AI często wymaga rozwiązania zupełnie nowych klas problemów.
