LinkedIn přepracoval základní algoritmus svého News Feed a nahradil pět samostatných systémů pro dolování dat jediným modelem založeným na velkých jazykových modelech (LLM). Tento krok, který se týká více než 1,3 miliardy uživatelů, má za cíl poskytovat relevantnější a personalizovanější obsah a zároveň snížit provozní náklady. Tento posun odráží širší trend: Velké platformy stále více spoléhají na LLM při provádění složitých úkolů doporučení, ale jejich škálování představuje jedinečné technické výzvy.
Problém fragmentace
Po celá léta fungoval LinkedIn News Feed na patchworkovém přístupu. Každý systém je optimalizován pro různé části obsahu – chronologické aktualizace sítě, trendy témata, filtrování podle zájmů, oborové publikace a doporučení založená na vkládání. Přestože je tento přístup funkční, vedl ke zvýšeným nákladům na údržbu a neefektivitě. Inženýři zjistili, že složitost systému brání jeho schopnosti přizpůsobit se měnícímu se chování uživatelů a poskytovat skutečně personalizované prostředí.
LLM jako jednotné řešení
Řešení LinkedIn zahrnuje tři klíčové vrstvy: extrakci obsahu, hodnocení a správu výpočtů. Společnost nyní používá LLM k hlubšímu pochopení profesního kontextu, přiřazuje uživatelům relevantní obsah na základě jak uvedených zájmů (pracovní pozice, dovednosti, odvětví), tak skutečného chování v průběhu času. Tento přístup překonává omezení předchozích systémů, které nebyly schopny sladit tyto často protichůdné signály.
Redesign zahrnuje vlastní model Generativního doporučení (GR). Na rozdíl od tradičních hodnotících systémů GR pohlíží na příběh uživatelské zkušenosti jako na nepřetržitou sekvenci – „profesionální příběh“ vyprávěný prostřednictvím vzorců zapojení. To umožňuje zdroji porozumět dlouhodobým zájmům a poskytovat relevantnější obsah.
Technické problémy ve velkém měřítku
Nasazení LLM v měřítku LinkedIn nebylo snadné. Jednou z počátečních překážek byla konverze strukturovaných dat (např. počty zapojení) do textu pro zpracování LLM. Tým zjistil, že LLM zachází s čísly jako s nestrukturovanými tokeny a zbavuje je významu. Aby to napravili, implementovali percentilové rozsahy se speciálními tokeny, což modelu umožnilo rozlišovat mezi signály popularity a prostým textem.
Další klíčovou výzvou byla optimalizace nákladů na výpočetní techniku. LinkedIn oddělil výpočty CPU (centrální procesorové jednotky) pro zpracování funkcí od výpočtů vyžadujících grafické procesorové jednotky (GPU) pro odvození modelu, aby se zabránilo úzkým místům. Vlastní zavaděče dat C++ nahradily multiprocesing Pythonu, aby se snížila režie, a pro optimalizaci výpočtů pozornosti byla vyvinuta varianta Flash Attention. Paralelní kontrolní bod také maximalizoval využití paměti GPU.
Co to znamená?
Přechod na LinkedIn zdůrazňuje rostoucí závislost na LLM pro rozsáhlé systémy doporučení. Zároveň však ukazuje, že efektivní nasazení těchto modelů vyžaduje značné technické úsilí. Redesign se netýká pouze implementace LLM; jde o přehodnocení toho, jak jsou data prezentována, jak jsou spravovány výpočetní zdroje a jak je interpretována uživatelská historie. Tento posun zdůrazňuje základní princip: škálování řešení AI často vyžaduje řešení zcela nových tříd problémů.
