LinkedIn heeft zijn kernfeedalgoritme herzien en vijf verschillende ophaalsystemen vervangen door een uniform model dat wordt aangedreven door grote taalmodellen (LLM’s). Deze verschuiving, die ruim 1,3 miljard gebruikers treft, heeft tot doel relevantere en gepersonaliseerde inhoud te leveren en tegelijkertijd de operationele kosten te verlagen. Deze stap onderstreept een bredere trend: grote platforms vertrouwen steeds meer op LLM’s om complexe aanbevelingstaken uit te voeren, maar dit op grote schaal doen brengt unieke technische uitdagingen met zich mee.
Het probleem met fragmentatie
Jarenlang draaide de feed van LinkedIn op een lappendeken van pijpleidingen. Elk systeem is geoptimaliseerd voor verschillende inhoudsegmenten: chronologische netwerkupdates, trending topics, op interesses gebaseerd filteren, branchespecifieke berichten en op insluitingen gebaseerde aanbevelingen. Hoewel functioneel, leidde deze aanpak tot escalerende onderhoudskosten en inefficiënties. Ingenieurs beseften dat de complexiteit van het systeem het vermogen belemmerde om zich aan te passen aan het evoluerende gebruikersgedrag en om echt gepersonaliseerde ervaringen te leveren.
LLM’s als een uniforme oplossing
De oplossing van LinkedIn omvat drie belangrijke lagen: het ophalen van inhoud, rangschikking en computerbeheer. Het bedrijf maakt nu gebruik van LLM’s om de professionele context beter te begrijpen, door gebruikers te matchen met relevante inhoud op basis van zowel hun aangegeven interesses (titel, vaardigheden, branche) als feitelijk gedrag in de loop van de tijd. Deze aanpak overwint de beperkingen van eerdere systemen die moeite hadden om deze vaak tegenstrijdige signalen met elkaar te verzoenen.
Het herontwerp omvat een eigen Generative Recommender (GR) -model. In tegenstelling tot traditionele classificatiesystemen behandelt GR de geschiedenis van gebruikersinteractie als een continue reeks: een ‘professioneel verhaal’ dat wordt verteld via betrokkenheidspatronen. Hierdoor kan de feed de interesses op de lange termijn begrijpen en betekenisvollere inhoud leveren.
Technische uitdagingen op schaal
Het implementeren van LLM’s op de schaal van LinkedIn was niet eenvoudig. Een eerste hindernis was het omzetten van gestructureerde gegevens (zoals betrokkenheidsaantallen) in tekst voor LLM-verwerking. Het team ontdekte dat LLM’s getallen als ongestructureerde tokens behandelden, waardoor ze hun betekenis verloren. Om dit op te lossen, implementeerden ze percentielbuckets met speciale tokens, waardoor het model populariteitssignalen kon onderscheiden van gewone tekst.
Een andere belangrijke uitdaging was het optimaliseren van de computerkosten. LinkedIn heeft CPU-gebonden functieverwerking gedesaggregeerd van GPU-zware modelinferentie om knelpunten te voorkomen. Aangepaste C++-dataladers vervingen Python-multiprocessing om de overhead te verminderen, en er werd een Flash Attention-variant ontwikkeld om de aandachtsberekening te optimaliseren. Parallelle controlepunten zorgden voor een verder gemaximaliseerd GPU-geheugengebruik.
Wat dit betekent
De transitie van LinkedIn benadrukt de groeiende afhankelijkheid van LLM’s voor grootschalige aanbevelingssystemen. Het toont echter ook aan dat het effectief inzetten van deze modellen aanzienlijke technische inspanningen vergt. Het herontwerp gaat niet alleen over het adopteren van LLM’s; het gaat erom opnieuw na te denken over de manier waarop gegevens worden weergegeven, hoe computerbronnen worden beheerd en hoe de gebruikersgeschiedenis wordt geïnterpreteerd. Deze verschuiving onderstreept een fundamenteel principe: het opschalen van AI-oplossingen vereist vaak het oplossen van geheel nieuwe soorten problemen.
