LinkedIn hat seinen Kern-Feed-Algorithmus überarbeitet und fünf verschiedene Abrufsysteme durch ein einheitliches Modell ersetzt, das auf großen Sprachmodellen (LLMs) basiert. Dieser Wandel, der über 1,3 Milliarden Nutzer betrifft, zielt darauf ab, relevantere und personalisiertere Inhalte bereitzustellen und gleichzeitig die Betriebskosten zu senken. Der Schritt unterstreicht einen breiteren Trend: Große Plattformen verlassen sich zunehmend auf LLMs, um komplexe Empfehlungsaufgaben zu bewältigen, aber dies in großem Maßstab zu tun, stellt einzigartige technische Herausforderungen dar.
Das Problem mit der Fragmentierung
Der LinkedIn-Feed basierte jahrelang auf einem Flickenteppich aus Pipelines. Jedes System ist für unterschiedliche Inhaltsbereiche optimiert – chronologische Netzwerkaktualisierungen, Trendthemen, interessenbasierte Filterung, branchenspezifische Beiträge und einbettungsbasierte Empfehlungen. Obwohl dieser Ansatz funktionsfähig war, führte er zu steigenden Wartungskosten und Ineffizienzen. Die Ingenieure erkannten, dass die Komplexität des Systems seine Fähigkeit behinderte, sich an das sich verändernde Benutzerverhalten anzupassen und wirklich personalisierte Erlebnisse zu liefern.
LLMs als einheitliche Lösung
Die Lösung von LinkedIn umfasst drei Schlüsselebenen: Inhaltsabruf, Ranking und Rechenverwaltung. Das Unternehmen nutzt nun LLMs, um den beruflichen Kontext besser zu verstehen und den Benutzern relevante Inhalte zuzuordnen, die sowohl auf ihren angegebenen Interessen (Titel, Fähigkeiten, Branche) als auch auf ihrem tatsächlichen Verhalten im Laufe der Zeit basieren. Dieser Ansatz überwindet die Einschränkungen früherer Systeme, die Schwierigkeiten hatten, diese oft widersprüchlichen Signale in Einklang zu bringen.
Das Redesign umfasst ein proprietäres Generative Recommender (GR)-Modell. Im Gegensatz zu herkömmlichen Ranking-Systemen behandelt GR den Benutzerinteraktionsverlauf als kontinuierliche Sequenz – eine „professionelle Geschichte“, die durch Interaktionsmuster erzählt wird. Dadurch kann der Feed langfristige Interessen verstehen und aussagekräftigere Inhalte liefern.
Technische Herausforderungen im großen Maßstab
Die Bereitstellung von LLMs in der Größenordnung von LinkedIn war nicht einfach. Eine anfängliche Hürde bestand darin, strukturierte Daten (wie Engagement-Zählungen) in Text für die LLM-Verarbeitung umzuwandeln. Das Team entdeckte, dass LLMs Zahlen als unstrukturierte Token behandelten und ihnen dadurch ihre Bedeutung entzogen. Um dieses Problem zu beheben, implementierten sie Perzentil-Buckets mit speziellen Tokens, die es dem Modell ermöglichten, Beliebtheitssignale von gewöhnlichem Text zu unterscheiden.
Eine weitere große Herausforderung war die Optimierung der Rechenkosten. LinkedIn hat die CPU-gebundene Funktionsverarbeitung von der GPU-lastigen Modellinferenz disaggregiert, um Engpässe zu vermeiden. Benutzerdefinierte C++-Datenlader ersetzten die Python-Mehrverarbeitung, um den Overhead zu reduzieren, und eine Flash-Attention-Variante wurde entwickelt, um die Aufmerksamkeitsberechnung zu optimieren. Parallelisiertes Checkpointing maximierte die GPU-Speichernutzung weiter.
Was das bedeutet
Der Übergang von LinkedIn unterstreicht die wachsende Abhängigkeit von LLMs für groß angelegte Empfehlungssysteme. Es zeigt jedoch auch, dass die effektive Bereitstellung dieser Modelle einen erheblichen technischen Aufwand erfordert. Bei der Neugestaltung geht es nicht nur um die Einführung von LLMs; Es geht darum, zu überdenken, wie Daten dargestellt werden, wie Rechenressourcen verwaltet werden und wie der Benutzerverlauf interpretiert wird. Diese Verschiebung unterstreicht ein grundlegendes Prinzip: Die Skalierung von KI-Lösungen erfordert häufig die Lösung völlig neuer Problemklassen.
