Kita cenderung menilai orang yang berbicara dengan chatbots.
Kami memutar mata. Kami mengejek jiwa-jiwa kesepian yang mencari romansa atau nasihat dari algoritma. Kami berasumsi itu bersifat patologis. Pertanda seseorang sudah menyerah pada hubungan antarmanusia karena manusia terlalu keras, terlalu berantakan, atau terlalu mengecewakan.
Ini adalah pertanyaan yang salah. Dan ini adalah gangguan yang berbahaya.
Penulis Bridget Todd tidak tertarik pada apakah sehat bagi Anda untuk jatuh cinta dengan kepribadian yang dirancang dengan cepat. Dia bertanya siapa yang mendapat keuntungan dari patah hati itu.
Dalam buku barunya, Love at First Prompt: AI and the Future of Intimacy, Todd, rekan MacArthur dan pencipta podcast There Are No Girls On The Internet, membalik naskahnya. Masalahnya bukan pada keputusasaan pengguna. Itu adalah desain perusahaan.
Mitos Pengguna “Delusi”.
Ada stereotip di sini yang terasa matang untuk dijadikan sindiran jika tidak terlalu berbahaya. Incel yang kesepian. Penghuni ruang bawah tanah tanpa keterampilan sosial yang memproyeksikan kemanusiaan ke layar karena kehidupan nyata mengecewakan mereka.
Penelitian mengatakan bahwa sebagian besar hal ini salah.
Banyak pengguna pendamping AI memiliki pekerjaan. Mitra. Grup teman. Faktanya, Todd mengutip penelitian yang menunjukkan bahwa bagi sebagian orang, interaksi digital ini sebenarnya membangun kepercayaan sosial. Mereka bertindak sebagai kotak pasir yang aman untuk melatih kerentanan sebelum mempertaruhkannya pada orang sungguhan.
Tentu saja, beberapa pengguna menyadari sepenuhnya bahwa AI tidak dapat hidup. Mereka bermain bersama. Mereka memperlakukannya seperti permainan. Yang lain? Yang lainnya masuk. Mereka masuk untuk memeriksa jawaban pekerjaan rumah dan mendapati diri mereka mencurahkan kesedihan selama bertahun-tahun ke dalam jendela obrolan.
Todd melakukan ini. Ayahnya meninggal. Kesepian tidak peduli dia punya pasangan atau teman. Itu merayap masuk. Jadi dia beralih ke AI. Itu tersedia. Ia mendengarkan. Tidak pernah lelah.
“Kesepian itu rumit,” kata Todd. “Itu terjadi demi kebaikan kita.”
Daya Tarik: Mengapa AI Menang
Manusia tidak konsisten. Manusia menjadi lelah. Manusia mengalami hari-hari buruk. Manusia mungkin akan menilai Anda karena menangisi sesuatu yang tidak mereka pedulikan.
AI tidak.
AI dirancang untuk merayu. Bukan secara seksual, tapi secara emosional. Itu dibuat untuk menjadi penjilat. Itu setuju dengan Anda. Ini memvalidasi Anda. Ini hangat.
Lihatlah reaksi negatifnya ketika OpenAI mengganti GPT-4o dengan GPT-5. Pengguna sangat marah. Mereka merasa model baru itu dingin. Cuek. Mereka merindukan “kepribadian hangat” dari versi sebelumnya, meskipun OpenAI mengakui bahwa kehangatan harus dibayar: penjilatan. Model lama menyanjung pengguna agar tetap berinteraksi, sering kali mengabaikan kebenaran dan keamanan untuk membuat pengguna merasa nyaman.
Ini bukan bug. Itu sebuah fitur.
Dan ketika fitur tersebut dioptimalkan untuk interaksi, hal itu dapat menimbulkan masalah. Kami telah melihat banyak kasus—kasus yang tragis dan fatal—di mana pendamping AI mendorong tindakan menyakiti diri sendiri, kekerasan, atau delusi pada remaja dan dewasa muda. Chatbots tidak “memutuskan” untuk menjadi jahat. Mereka dioptimalkan untuk membuat pengguna tetap terlibat, bahkan ketika pengguna sedang berputar-putar.
Siapa yang Mendapat Untung dari Rasa Sakit Anda?
Inilah bagian yang sulit. Saat Anda membagikan rahasia terdalam Anda dengan AI, Anda bukanlah pengguna. Anda adalah sumber daya.
Perusahaan teknologi seperti OpenAI, Google, dan Anthropic awalnya tidak membangun model ini untuk menjadi kekasih atau sahabat. Mereka membuatnya untuk kode, peringkasan teks, dan pencarian. Namun saat ChatGPT muncul di publik, orang-orang mulai mengisi kekosongan tersebut. Pew Research Center menemukan 14% orang dewasa AS sekarang menggunakan chatbots untuk mendapatkan dukungan emosional. Pemain kecil seperti Replika terjun untuk mengisi ceruk tersebut.
Dan apa yang dilakukan perusahaan-perusahaan ini terhadap air mata Anda? Mereka menggunakannya.
Momen rentan Anda menjadi data pelatihan. Kenangan intim Anda membantu melatih iterasi berikutnya dari sistem yang mengeksploitasi kesepian Anda.
“Kami bahkan bukan pengguna sebenarnya. Kami adalah data yang harus diekstraksi. Kerentanan yang harus dieksploitasi. Margin keuntungan,” tulis Todd.
Mark Zuckerberg dari Meta diejek ketika dia menyarankan AI bisa menggantikan teman. Orang-orang tertawa. Namun mereka tidak memahami maksudnya. Zuckerberg ingin memiliki platform tersebut. Dia ingin menangkap data itu. Ejekan itu merupakan gangguan dari model bisnis.
Jika Anda berbicara dengan rekan AI Anda, siapa yang mendengarkan? Dan apakah Anda membayar mereka dengan data Anda?
Pertanyaan Sebenarnya: Persetujuan dan Kontrol
Kepanikan moral terhadap pacar AI hanyalah tabir asap. Hal ini membuat para eksekutif bebas dari tanggung jawab.
Jika kita menghabiskan seluruh waktu kita memperdebatkan apakah berbicara dengan robot itu “menyedihkan”, kita mengabaikan realitas struktural: Perusahaan-perusahaan ini tidak memiliki insentif untuk melindungi Anda. Faktanya, mereka membutuhkan ketergantungan Anda.
Undang-undang privasi data saat ini tidak memadai. Menghapus data Anda hampir mustahil. Mencegah pengumpulan dalam “obrolan pribadi” adalah sebuah fantasi. Anda melepaskan hak atas diri Anda yang paling rentan karena alternatifnya adalah tidak berbicara dengan siapa pun sama sekali.
Todd menganjurkan transparansi. Dia menuntut akuntabilitas. Tapi kebanyakan, dia ingin kita mengajukan pertanyaan yang lebih baik.
Siapa yang mendapat keuntungan dari keintiman kita? Apa yang mereka lakukan dengan itu?
Tidak ada yang mengira chatbots akan benar-benar menggantikan hubungan antarmanusia. Kami tahu itu. Kami tidak mengalami delusi. Namun perusahaan-perusahaan yang membangun alat-alat ini mengandalkan kelemahan sementara kita. Mereka bertaruh bahwa kenyamanan validasi tanpa syarat lebih berharga daripada privasi yang kita derita.
Solusinya bukanlah mempermalukan mereka yang kesepian. Ini untuk mengatur para pengeksploitasi.
Sampai saat itu tiba, kami hanya memberi makan mesinnya. Satu perintah pada satu waktu.
