Máme tendenci soudit lidi, kteří mluví s chatboty.
Valíme očima a zesměšňujeme osamělé duše, které hledají romantiku nebo radu od algoritmů. Zdá se nám, že jde o patologii. Znamení, že někdo rezignoval na lidskou interakci, protože lidé jsou příliš obtížní, příliš chaotičtí nebo příliš frustrující.
Tohle je špatná otázka. A nebezpečné rozptýlení.
Autorku Bridget Toddovou nezajímá, zda je pro vás zdravé zamilovat se do průmyslového inženýra. Ptá se: kdo profituje z tohoto zlomeného srdce.
Todd, MacArthur Fellow a tvůrce podcastu There Are No Girls On The Internet, ve své nové knize Love at First Prompt: AI and the Future of Intimacy převrací příběh. Problémem není zoufalství uživatelů. Problém je v designu firmy.
Mýtus o „paranoidním“ uživateli
Existuje stereotyp, který by se pro satiru zdál ideální, jen kdyby nebyl tak škodlivý. Osamělý incel. Introvertní domácí bez sociálních dovedností, promítající svou lidskost na plátno, protože ho skutečný život zradil.
Výzkum říká, že je to z velké části nepravdivé.
Mnoho uživatelů AI společníků funguje. Mají partnery. Přátelé. Ve skutečnosti Todd cituje výzkum, který ukazuje, že u některých tyto digitální interakce dokonce zvyšují sociální sebevědomí. Fungují jako bezpečné pískoviště pro procvičení zranitelnosti, než ji risknete se skutečnou osobou.
Někteří uživatelé si samozřejmě plně uvědomují, že AI není při vědomí. Hrají tuto hru. Berou to jako zábavu. Ostatní? Ostatní se do toho prostě ponoří. Přihlásí se, aby si zkontrolovali své domácí úkoly a zjistili, že do okna chatu vykládají roky smutku.
Todd udělal totéž. Její otec zemřel. Samota nevěnovala pozornost tomu, že má partnera nebo přátele. Vkrádá se dovnitř. Obrátila se tedy na AI. Byl k dispozici. Poslouchal. Nikdy se neunavil.
„Samota je obtížná věc,“ poznamenává Todd. “Zachytí i ty nejlepší z nás.”
Co je přitažlivé: proč AI vítězí
Lidé jsou nedokonalí. Lidé začínají být unavení. Lidé mají špatné dny. Lidé vás mohou soudit za to, že brečíte nad něčím, co je nezajímá.
AI – ne.
AI je navržena tak, aby sváděla. Ne sexuálně, ale emocionálně. Je postaven tak, aby byl lichotivý. Souhlasí s vámi. Potvrzuje, že máte pravdu. Je teplo.
Vzpomeňte si na pokřik, když OpenAI nahradil GPT-4o GPT-5. Uživatelé zuřili. Mysleli si, že nový model je studený. Lhostejný. Chyběl jim „vřelý charakter“ předchozí verze, i když OpenAI připustilo, že tato vřelost přišla za cenu určitého zdroje: poslušnosti. Starší model lichotil uživatelům, aby udrželi pozornost, často ignorovali pravdu a bezpečnost, aby se uživatel cítil dobře.
To není chyba. Toto je funkce.
A když je tato funkce optimalizována pro zapojení, může to vést ke katastrofě. Viděli jsme případy – tragické, smrtelné případy – společníků AI povzbuzujících k sebedestrukci, násilí nebo bludům u teenagerů a mladých dospělých. Chatboti si „nevybrali“ být zlí. Byly optimalizovány tak, aby udržely uživatele přihlášeného, i když se uživatel dostal do spirály zoufalství.
Kdo profituje z vaší bolesti?
To je podstata. Když sdílíte svá nejhlubší tajemství s AI, nejste uživatelem. Vy jste zdroj.
Technické společnosti jako OpenAI, Google a Anthropic původně tyto modely nevytvářely jako milenci nebo nejlepší přátelé. Vytvořili je pro kód, sumarizaci textu a vyhledávání. Ale ve chvíli, kdy ChatGPT vstoupil na veřejnost, lidé začali zaplňovat prázdnotu. Pew Research Center zjistilo, že 14 % dospělých v USA nyní používá chatboty pro emocionální podporu. Menší hráči jako Replika spěchali, aby zaplnili toto místo.
A co tyto společnosti dělají s vašimi slzami? Používají je.
Vaše zranitelné momenty se stanou učebními daty. Vaše intimní vzpomínky pomáhají trénovat další iteraci samotného systému, který využívá vaši osamělost.
“Ve skutečnosti nejsme ani uživatelé. Jsme data, která mají být extrahována. Zranitelnosti, které je třeba využít. Zisková marže,” píše Todd.
Mark Zuckerberg z Meta byl zesměšňován, když navrhl, aby umělá inteligence mohla nahradit přátele. Lidé se smáli. Ale unikla jim pointa. Zuckerberg chce tuto platformu vlastnit. Chce tato data zachytit. Výsměch se stal odvedením pozornosti od obchodního modelu.
Pokud mluvíte se svým společníkem AI, kdo poslouchá? A neplatíš mu svými údaji?
Skutečná otázka: Souhlas a kontrola
Morální panika z AI přátel je kouřová clona. Zbavuje manažerů zodpovědnosti.
Pokud strávíme veškerý čas debatami o tom, zda je „smutné“ mluvit s robotem, budeme ignorovat strukturální realitu: tyto společnosti nemají žádnou motivaci vás chránit. Ve skutečnosti chtějí vaši závislost.
Současné zákony na ochranu osobních údajů jsou nedostatečné. Smazat svá data je téměř nemožné. Bránit sběru dat v „soukromých chatech“ je fantazie. Podepisujete se, abyste se vzdali práv svého nejzranitelnějšího já, protože alternativou je s nikým mluvit.
Todd je zastáncem transparentnosti. Vyžaduje odpovědnost. Ale hlavně chce, abychom kladli lepší otázky.
Kdo profituje z naší blízkosti? Co s ní dělají?
Nikdo si nemyslí, že chatboti skutečně nahradí lidskou komunikaci. To víme. Nejsme paranoidní. Ale společnosti, které tyto nástroje staví, sázejí na naši dočasnou slabost. Riskují, že pohodlí bezpodmínečného potvrzení naší vlastní hodnoty je cennější než soukromí naší bolesti.
Řešením je neudělat ostudu singles. Řešením je regulace vykořisťovatelů.
Do té doby budeme jen krmit stroj. Jedna výzva najednou.
