LinkedIn telah merombak algoritme umpan intinya, menggantikan lima sistem pengambilan yang berbeda dengan model terpadu yang didukung oleh model bahasa besar (LLM). Pergeseran ini, yang berdampak pada lebih dari 1,3 miliar pengguna, bertujuan untuk menghadirkan konten yang lebih relevan dan dipersonalisasi sekaligus mengurangi biaya operasional. Langkah ini menggarisbawahi tren yang lebih luas: platform-platform besar semakin bergantung pada LLM untuk menangani tugas-tugas rekomendasi yang kompleks, namun melakukan hal tersebut dalam skala besar menghadirkan tantangan teknis yang unik.
Masalah Fragmentasi
Selama bertahun-tahun, umpan LinkedIn beroperasi pada jaringan pipa yang tambal sulam. Setiap sistem dioptimalkan untuk potongan konten yang berbeda—pembaruan jaringan kronologis, topik yang sedang tren, pemfilteran berdasarkan minat, postingan khusus industri, dan rekomendasi berbasis penyematan. Meskipun berfungsi, pendekatan ini menyebabkan meningkatnya biaya pemeliharaan dan inefisiensi. Para insinyur menyadari bahwa kompleksitas sistem menghambat kemampuannya untuk beradaptasi terhadap perubahan perilaku pengguna dan memberikan pengalaman yang benar-benar dipersonalisasi.
LLM sebagai Solusi Terpadu
Solusi LinkedIn melibatkan tiga lapisan utama: pengambilan konten, pemeringkatan, dan manajemen komputasi. Perusahaan sekarang menggunakan LLM untuk memahami konteks profesional secara lebih mendalam, mencocokkan pengguna dengan konten yang relevan berdasarkan minat yang mereka nyatakan (jabatan, keterampilan, industri) dan perilaku aktual dari waktu ke waktu. Pendekatan ini mengatasi keterbatasan sistem sebelumnya yang kesulitan dalam menyelaraskan sinyal-sinyal yang sering bertentangan ini.
Desain ulang ini mencakup model Generative Rekomendasi (GR) yang dipatenkan. Tidak seperti sistem pemeringkatan tradisional, GR memperlakukan riwayat interaksi pengguna sebagai rangkaian yang berkesinambungan—sebuah “kisah profesional” yang diceritakan melalui pola keterlibatan. Hal ini memungkinkan feed memahami kepentingan jangka panjang dan menayangkan konten yang lebih bermakna.
Tantangan Teknik dalam Skala Besar
Menerapkan LLM pada skala LinkedIn tidaklah mudah. Salah satu rintangan awal adalah mengubah data terstruktur (seperti jumlah keterlibatan) menjadi teks untuk pemrosesan LLM. Tim menemukan bahwa LLM memperlakukan angka sebagai token tidak terstruktur, menghilangkan signifikansinya. Untuk mengatasinya, mereka menerapkan keranjang persentil dengan token khusus, yang memungkinkan model membedakan sinyal popularitas dari teks biasa.
Tantangan utama lainnya adalah mengoptimalkan biaya komputasi. LinkedIn memilah pemrosesan fitur terikat CPU dari inferensi model yang banyak menggunakan GPU untuk menghindari kemacetan. Pemuat data C++ khusus menggantikan multipemrosesan Python untuk mengurangi overhead, dan varian Flash Attention dikembangkan untuk mengoptimalkan komputasi perhatian. Pos pemeriksaan paralel semakin memaksimalkan penggunaan memori GPU.
Apa Artinya
Transisi LinkedIn menyoroti meningkatnya ketergantungan pada LLM untuk sistem rekomendasi berskala besar. Namun, hal ini juga menunjukkan bahwa penerapan model ini secara efektif memerlukan upaya teknis yang signifikan. Desain ulang ini bukan hanya tentang mengadopsi LLM; ini tentang memikirkan kembali cara data direpresentasikan, cara sumber daya komputasi dikelola, dan cara riwayat pengguna diinterpretasikan. Pergeseran ini menggarisbawahi prinsip mendasar: penskalaan solusi AI sering kali memerlukan penyelesaian sejumlah masalah baru.
