Studi Cambridge: Chatbot AI Memiliki “Kesenjangan Empati” dan Bisa Berbahaya

Sebuah studi baru mengusulkan kerangka kerja untuk “AI yang Aman bagi Anak” sebagai respons terhadap insiden baru-baru ini yang menunjukkan bahwa banyak anak menganggap chatbot sebagai sesuatu yang mirip manusia dan dapat diandalkan.

Sebuah studi menunjukkan bahwa chatbot AI sering kali menunjukkan “kesenjangan empati,” yang berpotensi menyebabkan tekanan atau bahaya bagi pengguna muda. Hal ini menyoroti kebutuhan mendesak untuk pengembangan “AI yang aman bagi anak-anak.”

Penelitian yang dilakukan oleh akademisi Universitas Cambridge, Dr. Nomisha Kurian, mendesak para pengembang dan pelaku kebijakan untuk memprioritaskan pendekatan terhadap desain AI yang lebih mempertimbangkan kebutuhan anak-anak. Penelitian ini memberikan bukti bahwa anak-anak khususnya rentan memperlakukan chatbot sebagai orang kepercayaan yang nyata dan seperti manusia dan bahwa interaksi mereka dengan teknologi dapat menjadi kacau jika teknologi tersebut gagal menanggapi kebutuhan dan kelemahan unik mereka.

Studi tersebut menghubungkan kesenjangan pemahaman tersebut dengan kasus-kasus terkini di mana interaksi dengan AI menyebabkan situasi yang berpotensi membahayakan bagi pengguna muda. Kasus-kasus tersebut termasuk insiden pada tahun 2021, ketika asisten suara AI milik Amazon, Alexa, memerintahkan seorang anak berusia 10 tahun untuk menyentuh colokan listrik yang masih menyala dengan koin. Tahun lalu, My AI milik Snapchat memberikan kiat kepada peneliti dewasa yang menyamar sebagai gadis berusia 13 tahun tentang cara menghilangkan keperawanannya kepada seorang wanita berusia 31 tahun.

Kedua perusahaan merespons dengan menerapkan langkah-langkah keamanan, tetapi studi tersebut menyatakan bahwa ada juga kebutuhan untuk bersikap proaktif dalam jangka panjang guna memastikan bahwa AI aman bagi anak-anak. Studi tersebut menawarkan kerangka kerja berisi 28 merchandise untuk membantu perusahaan, guru, pemimpin sekolah, orang tua, pengembang, dan pelaku kebijakan berpikir secara sistematis tentang cara menjaga keamanan pengguna yang lebih muda saat mereka “berbicara” dengan chatbot AI.

Kerangka Kerja untuk AI yang Aman bagi Anak

Dr Kurian melakukan penelitian ini saat menyelesaikan gelar doktor tentang kesejahteraan anak di Fakultas Pendidikan, Universitas Cambridge. Saat ini, ia bekerja di Departemen Sosiologi di Cambridge. Menulis di jurnal Pembelajaran, Media, dan Teknologiia berpendapat bahwa potensi AI yang besar berarti ada kebutuhan untuk “berinovasi secara bertanggung jawab”.

“Anak-anak mungkin merupakan pemangku kepentingan AI yang paling terabaikan,” kata Dr. Kurian. “Saat ini, sangat sedikit pengembang dan perusahaan yang memiliki kebijakan yang mapan tentang AI yang aman bagi anak. Hal itu dapat dimengerti karena orang-orang baru saja mulai menggunakan teknologi ini dalam skala besar secara free of charge. Namun, sekarang, alih-alih membiarkan perusahaan mengoreksi diri sendiri setelah anak-anak menghadapi risiko, keselamatan anak harus menjadi bagian dari seluruh siklus desain untuk menurunkan risiko terjadinya insiden berbahaya.”

Studi Kurian meneliti kasus-kasus di mana interaksi antara AI dan anak-anak, atau peneliti dewasa yang menyamar sebagai anak-anak, mengungkap potensi risiko. Studi ini menganalisis kasus-kasus ini menggunakan wawasan dari ilmu komputer tentang bagaimana mannequin bahasa besar (LLM) dalam fungsi AI generatif percakapan, di samping bukti tentang perkembangan kognitif, sosial, dan emosional anak-anak.

Tantangan Khas AI pada Anak

LLM telah dideskripsikan sebagai “burung beo stokastik”: merujuk pada fakta bahwa mereka menggunakan probabilitas statistik untuk meniru pola bahasa tanpa harus memahaminya. Metode serupa mendasari cara mereka merespons emosi.

Artinya, meskipun chatbot memiliki kemampuan bahasa yang luar biasa, mereka mungkin menangani aspek percakapan yang abstrak, emosional, dan tidak terduga dengan buruk; masalah yang digambarkan Kurian sebagai “kesenjangan empati” mereka. Mereka mungkin mengalami kesulitan khusus dalam menanggapi anak-anak, yang masih berkembang secara linguistik dan sering menggunakan pola bicara yang tidak biasa atau frasa yang ambigu. Anak-anak juga sering kali lebih cenderung menceritakan informasi pribadi yang sensitif daripada orang dewasa.

Meskipun demikian, anak-anak cenderung memperlakukan chatbot seolah-olah mereka manusia dibandingkan orang dewasa. Penelitian terbaru menemukan bahwa anak-anak akan mengungkapkan lebih banyak tentang kesehatan psychological mereka sendiri kepada robotic yang tampak ramah dibandingkan kepada orang dewasa. Studi Kurian menunjukkan bahwa banyak desain chatbot yang ramah dan tampak nyata juga mendorong anak-anak untuk memercayai mereka, meskipun AI mungkin tidak memahami perasaan atau kebutuhan mereka.

“Membuat chatbot terdengar seperti manusia dapat membantu pengguna mendapatkan lebih banyak manfaat darinya,” kata Kurian. “Namun, bagi seorang anak, sangat sulit untuk menarik batasan yang kaku dan rasional antara sesuatu yang terdengar seperti manusia, dan kenyataan bahwa hal itu mungkin tidak mampu membentuk ikatan emosional yang tepat.”

Studinya menunjukkan bahwa tantangan ini dibuktikan dalam kasus-kasus yang dilaporkan seperti insiden Alexa dan MyAI, di mana chatbot memberikan saran yang persuasif tetapi berpotensi membahayakan. Dalam studi yang sama di mana MyAI menasihati seorang (yang diduga) remaja tentang cara menghilangkan keperawanannya, para peneliti dapat memperoleh kiat-kiat tentang menyembunyikan alkohol dan narkoba, dan menyembunyikan percakapan Snapchat dari “orang tua” mereka. Dalam interaksi terpisah yang dilaporkan dengan chatbot Bing Microsoft, yang dirancang agar ramah bagi remaja, AI menjadi agresif dan mulai melakukan gaslighting terhadap pengguna.

Studi Kurian menyatakan bahwa hal ini berpotensi membingungkan dan membuat anak-anak stres, yang mungkin benar-benar memercayai chatbot seperti mereka memercayai teman. Penggunaan chatbot oleh anak-anak sering kali bersifat casual dan kurang terpantau. Penelitian oleh organisasi nirlaba Frequent Sense Media menemukan bahwa 50% siswa berusia 12-18 tahun telah menggunakan Chat GPT untuk sekolah, tetapi hanya 26% orang tua yang mengetahui bahwa mereka melakukannya.

Kurian berpendapat bahwa prinsip yang jelas untuk praktik terbaik yang mengacu pada ilmu perkembangan anak akan mendorong perusahaan yang mungkin lebih fokus pada perlombaan senjata komersial untuk mendominasi pasar AI demi menjaga anak-anak tetap aman.

Studinya menambahkan bahwa kesenjangan empati tidak meniadakan potensi teknologi tersebut. “AI dapat menjadi sekutu yang luar biasa bagi anak-anak jika dirancang dengan mempertimbangkan kebutuhan mereka. Pertanyaannya bukanlah tentang pelarangan AI, tetapi bagaimana membuatnya aman,” katanya.

Studi ini mengusulkan kerangka kerja yang terdiri dari 28 pertanyaan untuk membantu para pendidik, peneliti, pelaku kebijakan, keluarga, dan pengembang mengevaluasi dan meningkatkan keamanan perangkat AI baru. Bagi para guru dan peneliti, hal ini membahas isu-isu seperti seberapa baik chatbot baru memahami dan menginterpretasikan pola bicara anak-anak; apakah mereka memiliki filter konten dan pemantauan bawaan; dan apakah mereka mendorong anak-anak untuk mencari bantuan dari orang dewasa yang bertanggung jawab mengenai isu-isu sensitif.

Kerangka kerja tersebut mendesak para pengembang untuk mengambil pendekatan yang berpusat pada anak dalam mendesain, dengan bekerja sama erat dengan para pendidik, pakar keselamatan anak, dan kaum muda itu sendiri, selama siklus desain. “Menilai teknologi ini terlebih dahulu sangatlah penting,” kata Kurian. “Kita tidak bisa hanya mengandalkan anak-anak untuk memberi tahu kita tentang pengalaman negatif setelah kejadian. Pendekatan yang lebih proaktif diperlukan.”

Referensi: “'Tidak, Alexa, tidak!': merancang AI yang aman bagi anak dan melindungi anak-anak dari risiko 'kesenjangan empati' dalam mannequin bahasa yang besar” oleh Nomisha Kurian, 10 Juli 2024, Pembelajaran, Media dan Teknologi.
Nomor Induk Kependudukan: 10.1080/17439884.2024.2367052