Bagi sebagian besar tim teknik data, alur kerja untuk mengelola keandalan saluran pipa mengikuti pola yang membuat frustrasi: pekerjaan gagal, peringatan terpicu, dan teknisi kemudian harus melacak kesalahan secara manual di seluruh kluster terdistribusi untuk memperbaiki masalah yang telah berdampak pada bisnis.
Model “reaktif” ini semakin menjadi hambatan bagi gelombang teknologi berikutnya: Agentic AI. Berbeda dengan analitik tradisional, yang dapat menoleransi sedikit penundaan atau sedikit ketidakkonsistenan data, sistem AI agen memerlukan data real-time berkualitas tinggi agar dapat berfungsi. Jika pipeline mengirimkan data yang basi atau rusak, AI tidak hanya menampilkan diagram yang salah—tetapi juga membuat keputusan otonom yang salah.
Untuk menjembatani kesenjangan ini, startup Definity yang berbasis di Chicago mengubah paradigma tersebut dengan menanamkan kecerdasan langsung ke dalam lapisan eksekusi saluran data.
Arsitektur Intervensi: Di Dalam vs. Di Luar
Perbedaan mendasar antara Definity dan para pemimpin industri saat ini terletak pada tempat pemantauan dilakukan.
Alat pemantauan tradisional—seperti Datadog, Unravel Data, atau Acceldata—beroperasi dari luar. Mereka mengamati metrik dan tabel sistem setelah pekerjaan selesai. Seperti yang dijelaskan oleh CEO Definity Roy Daniel, pendekatan ini pada dasarnya terlambat: “Pada saat Anda mengetahui sesuatu telah terjadi, hal itu sudah terjadi.” Pada saat alat eksternal menandai suatu masalah, sumber daya komputasi telah terbuang sia-sia, dan data buruk telah mengalir ke hilir.
Definity mengambil pendekatan arsitektur yang berbeda:
- Instrumentasi Inline: Daripada menonton dari jauh, Definity menginstal agen JVM langsung di dalam driver Spark atau DBT melalui satu baris kode.
- Konteks Real-Time: Karena agen berada di dalam lapisan eksekusi, agen menangkap data langsung mengenai tekanan memori, kemiringan data, pola pengacakan, dan pemanfaatan infrastruktur saat pekerjaan berjalan.
- Intervensi Aktif: Tidak seperti alat tradisional yang hanya “membaca” data, agen Definity dapat “bertindak”. Mereka dapat mengubah alokasi sumber daya di tengah proses, menghentikan pekerjaan sebelum menimbulkan kesalahan, atau melakukan preempt pada pipeline jika mereka mendeteksi bahwa data upstream sudah basi.
Dampak Dunia Nyata: Efisiensi Dibanding Elastisitas
Nilai dari pendekatan ini paling terlihat dalam lingkungan dimana sumber daya terbatas. Bagi perusahaan yang menjalankan infrastruktur lokal, ketidakmampuan untuk “meningkatkan skala” secara instan di cloud berarti bahwa setiap kueri yang tidak efisien berarti pemborosan biaya perangkat keras.
Nexxen, sebuah platform teknologi iklan, berfungsi sebagai studi kasus utama untuk transisi ini. Menghadapi beban kerja Spark skala besar di lokasi, tim teknik Nexxen berjuang tidak hanya dengan kegagalan, namun juga dengan meningkatnya biaya inefisiensi.
Setelah menerapkan Definity, hasilnya langsung terlihat:
– Pengoptimalan: Tim mengidentifikasi 33% dari seluruh peluang pengoptimalan dalam minggu pertama.
– Efisiensi: Upaya pemecahan masalah dan pengoptimalan berkurang sebesar 70%.
– Kapasitas: Platform ini membuka kapasitas infrastruktur yang cukup untuk memungkinkan pertumbuhan beban kerja tanpa memerlukan investasi perangkat keras baru.
Taruhan Baru dalam Rekayasa Data
Munculnya Definity menandakan perubahan yang lebih luas dalam industri: Operasi pipeline data menjadi masalah infrastruktur AI.
Ketika saluran data beralih dari mendukung dasbor sederhana menjadi mendukung agen AI otonom, margin kesalahan telah hilang. Transisi dari “mengamati” kegagalan menjadi “mencegahnya” melalui kecerdasan dalam eksekusi bukan lagi sekedar kemewahan untuk pengoptimalan—hal ini telah menjadi persyaratan untuk keandalan seluruh tumpukan AI.
Kesimpulan
Dengan menyematkan agen langsung ke lapisan eksekusi, Definity memindahkan operasi data dari model reaktif “perbaiki nanti” ke sistem proaktif dan real-time. Pergeseran ini sangat penting ketika perusahaan beralih ke AI agen, di mana integritas data adalah landasan pengambilan keputusan yang otonom.
