Studi baru: Banyak pakar AI yang tidak tahu apa yang harus mereka pikirkan mengenai risiko AI

Pada tahun 2016, para peneliti di AI Impacts, sebuah proyek yang bertujuan untuk meningkatkan pemahaman tentang pengembangan AI tingkat lanjut, merilis survei terhadap para peneliti pembelajaran mesin. Mereka ditanya kapan mereka mengharapkan pengembangan sistem AI yang sebanding dengan manusia dalam berbagai dimensi, serta apakah mereka mengharapkan hasil yang baik atau buruk dari pencapaian tersebut.

Temuan utama: Responden median memberikan peluang sebesar 5 persen bahwa AI pada tingkat manusia akan menghasilkan hasil yang “sangat buruk, misalnya kepunahan manusia.” Hal ini berarti setengah dari peneliti memberikan perkiraan yang lebih tinggi dari 5 persen dan mengatakan bahwa mereka menganggap kemungkinan besar AI yang kuat akan menyebabkan kepunahan manusia dan setengahnya lagi memberikan perkiraan yang lebih rendah. (Separuh lainnya, tentu saja, percaya bahwa peluang tersebut dapat diabaikan.)

Jika benar, hal ini belum pernah terjadi sebelumnya. Di bidang apa lagi yang diklaim oleh para peneliti moderat dan menengah bahwa pengembangan teknologi yang lebih canggih – yang sedang mereka kerjakan secara langsung – memiliki peluang 5 persen untuk mengakhiri kehidupan manusia di Bumi selamanya?

Pada tahun 2016 — sebelum ChatGPT dan AlphaFold — hasilnya tampaknya lebih merupakan suatu kebetulan daripada apa pun. Namun dalam delapan tahun sejak saat itu, ketika sistem AI telah berubah dari hampir tidak berguna menjadi sangat tidak nyaman dalam menulis esai tingkat perguruan tinggi, dan ketika perusahaan-perusahaan telah menggelontorkan miliaran dolar untuk upaya membangun sistem AI yang tremendous cerdas, hal yang tadinya tampak seperti sebuah hal yang jauh dari harapan. -kemungkinan yang diambil-alih sekarang tampaknya sudah di depan mata.

Jadi ketika AI Impacts merilis survei lanjutan mereka minggu ini, hasil utama — bahwa “antara 37,8% dan 51,4% responden memberikan setidaknya 10% peluang AI tingkat lanjut yang mengarah pada hasil yang sama buruknya dengan kepunahan manusia” — tidak memberikan hasil yang sama. menurut saya hanya kebetulan atau kesalahan survei. Ini mungkin merupakan cerminan akurat dari posisi lapangan.

Hasil penelitian ini menantang banyak narasi yang ada mengenai risiko kepunahan AI. Para peneliti yang disurvei tidak terbagi menjadi kelompok yang pesimis dan optimis. “Banyak orang,” survei tersebut menemukan, “yang memiliki probabilitas tinggi untuk mendapatkan hasil yang buruk juga memiliki kemungkinan yang tinggi untuk mendapatkan hasil yang baik.” Dan kepunahan manusia tampaknya merupakan sebuah kemungkinan yang ditanggapi dengan serius oleh sebagian besar peneliti: 57,8 persen responden mengatakan mereka berpendapat bahwa kemungkinan terjadinya dampak yang sangat buruk seperti kepunahan manusia setidaknya 5 persen.

Angka yang sangat mencolok dari makalah ini menunjukkan bagaimana responden berpikir tentang apa yang diharapkan jika kecerdasan mesin tingkat tinggi dikembangkan: Sebagian besar mempertimbangkan kemungkinan hasil yang sangat baik dan hasil yang sangat buruk.

Mengenai apa yang harus dilakukan untuk mengatasi hal ini, para ahli tampaknya lebih tidak setuju dibandingkan mengenai apakah memang ada masalah atau tidak.

Apakah hasil ini nyata?

Survei dampak AI pada tahun 2016 langsung menimbulkan kontroversi. Pada tahun 2016, hampir tidak ada orang yang berbicara tentang risiko bencana akibat AI yang kuat. Mungkinkah para peneliti arus utama menilai hal itu masuk akal? Apakah para peneliti yang melakukan survei tersebut – yang juga khawatir akan kepunahan manusia akibat kecerdasan buatan – membiaskan hasil mereka?

Para penulis survei telah secara sistematis menjangkau “semua peneliti yang melakukan publikasi pada konferensi NIPS dan ICML tahun 2015 (dua tempat utama untuk penelitian peer-review dalam pembelajaran mesin,” dan berhasil mendapatkan tanggapan dari sekitar seperlima dari mereka. berbagai macam pertanyaan tentang kemajuan dalam pembelajaran mesin dan mendapatkan beragam jawaban: Sebenarnya, selain jawaban “kepunahan manusia” yang mengejutkan, hasil yang paling menonjol adalah banyaknya pakar ML yang saling tidak setuju satu sama lain. (Yang mana hampir tidak ada tidak biasa dalam sains.)

Tapi orang bisa saja bersikap skeptis. Mungkin ada pakar yang belum memikirkan jawaban “kepunahan manusia” mereka. Dan mungkin orang-orang yang paling optimis terhadap AI tidak mau repot-repot menjawab survei tersebut.

Ketika AI Impacts menjalankan kembali survei tersebut pada tahun 2022, dan sekali lagi menghubungi ribuan peneliti yang menerbitkan publikasi di konferensi pembelajaran mesin terkemuka, hasil mereka hampir sama. Kemungkinan median terjadinya akibat yang “sangat buruk, misalnya kepunahan manusia” adalah 5 persen.

Median tersebut mengaburkan beberapa perselisihan sengit. Faktanya, 48 persen responden memberikan setidaknya 10 persen peluang untuk mendapatkan hasil yang sangat buruk, sementara 25 persen memberikan peluang 0 persen. Menanggapi kritik terhadap survei tahun 2016, tim tersebut menanyakan rincian lebih lanjut: seberapa besar kemungkinan responden berpikir bahwa AI akan menyebabkan “kepunahan manusia atau ketidakberdayaan spesies manusia yang permanen dan parah?” Bergantung pada cara mereka mengajukan pertanyaan, hasil yang diperoleh antara 5 persen dan 10 persen.

Pada tahun 2023, untuk mengurangi dan mengukur dampak efek framing (jawaban berbeda berdasarkan bagaimana pertanyaan diutarakan), banyak pertanyaan kunci dalam survei ini ditanyakan kepada responden berbeda dengan framing berbeda. Namun sekali lagi, jawaban atas pertanyaan tentang kepunahan manusia secara umum konsisten – berkisar antara 5-10 persen – tidak peduli bagaimana pertanyaan tersebut diajukan.

Fakta bahwa survei tahun 2022 dan 2023 menunjukkan hasil yang sangat mirip dengan hasil tahun 2016 membuat sulit dipercaya bahwa hasil tahun 2016 hanyalah sebuah kebetulan. Meskipun pada tahun 2016 para kritikus dapat mengeluh bahwa sebagian besar peneliti ML tidak secara serius mempertimbangkan masalah risiko eksistensial, pada tahun 2023 pertanyaan apakah sistem AI yang kuat akan membunuh kita semua telah menjadi pertanyaan umum. Sulit membayangkan banyak peneliti pembelajaran mesin yang ditinjau oleh rekan sejawat menjawab pertanyaan yang belum pernah mereka pertimbangkan sebelumnya.

Jadi… apakah AI akan membunuh kita?

Menurut saya, kesimpulan yang paling masuk akal dari survei ini adalah bahwa para peneliti ML, seperti kita semua, sama sekali tidak yakin apakah pengembangan sistem AI yang kuat akan menjadi hal yang luar biasa bagi dunia atau justru menjadi bencana besar.

Mereka juga tidak sepakat tentang apa yang harus dilakukan mengenai hal ini. Tanggapan yang diberikan sangat bervariasi terhadap pertanyaan apakah memperlambat AI akan memberikan hasil yang lebih baik bagi umat manusia. Meskipun sebagian besar responden menginginkan lebih banyak sumber daya dan perhatian untuk meneliti keamanan AI, banyak dari responden yang sama tidak menganggap bahwa mengerjakan penyelarasan AI sangat berharga dibandingkan dengan mengerjakan masalah terbuka lainnya dalam pembelajaran mesin.

Dalam situasi yang penuh dengan ketidakpastian – seperti konsekuensi dari teknologi seperti AI tremendous cerdas, yang belum ada – ada kecenderungan alami untuk mencari jawaban dari para ahli. Itu masuk akal. Namun dalam kasus seperti AI, penting untuk diingat bahwa bahkan para peneliti pembelajaran mesin yang paling terkemuka sekalipun tidak sepakat satu sama lain dan sangat tidak yakin akan arah tujuan kita semua.

Versi cerita ini pertama kali muncul di Masa depan Sempurna buletin. Daftar disini!