Ilmuwan menemukan “pisau cukur” yang tersembunyi AI untuk solusi yang disederhanakan
Peneliti Oxford menemukan bahwa jaringan saraf yang dalam secara alami mendukung solusi yang lebih sederhana, meningkatkan kemampuan mereka untuk menggeneralisasi dari data, sebuah penemuan yang dapat mengungkapkan hubungan yang lebih dalam antara kecerdasan buatan dan proses evolusi alami.
Sebuah studi baru dari Universitas Oxford telah mengungkapkan mengapa Deep Neural Networks (DNNS), fondasi kecerdasan buatan modern, unggul dalam belajar dari data. Penelitian ini menunjukkan bahwa DNN secara alami mengikuti bentuk pisau cukur Occam – mereka lebih suka solusi yang lebih sederhana ketika beberapa opsi sesuai dengan data pelatihan. Secara unik, bias kesederhanaan ini secara justru menangkal peningkatan eksponensial dalam jumlah solusi yang mungkin terjadi seiring dengan meningkatnya kompleksitas. Temuan ini diterbitkan di Komunikasi Alam.
Untuk memprediksi data baru yang tidak terlihat secara akurat – bahkan ketika DNN memiliki jutaan atau miliaran lebih banyak parameter daripada titik data – para peneliti mengusulkan bahwa DNN memiliki bentuk pedoman yang melekat. Bias bawaan ini membantu mereka memprioritaskan pola yang paling relevan selama pembelajaran.
“Sementara kami tahu bahwa efektivitas DNN bergantung pada beberapa bentuk bias induktif terhadap kesederhanaan – semacam pisau cukur Occam – ada banyak versi pisau cukur. Sifat tepat pisau cukur yang digunakan oleh DNN tetap sulit dipahami, ”kata fisikawan teoretis Profesor Ard Louis (Departemen Fisika, Universitas Oxford), yang memimpin penelitian ini.
Preferensi untuk fungsi yang lebih sederhana
Untuk mengungkap prinsip panduan DNNs, penulis menyelidiki bagaimana ini mempelajari fungsi boolean – aturan mendasar dalam komputasi di mana hasil hanya dapat memiliki salah satu dari dua nilai yang mungkin: benar atau salah. Mereka menemukan bahwa meskipun DNNs dapat secara teknis sesuai dengan fungsi apa pun dengan data, mereka memiliki preferensi bawaan untuk fungsi yang lebih sederhana yang lebih mudah dijelaskan. Ini berarti DNN secara alami bias terhadap aturan sederhana dibandingkan yang kompleks.
Selain itu, penulis menemukan bahwa pisau cukur Occam yang melekat ini memiliki properti yang unik: secara persis menangkal peningkatan eksponensial dalam jumlah fungsi kompleks seiring dengan meningkatnya ukuran sistem. Hal ini memungkinkan DNN untuk mengidentifikasi fungsi langka dan sederhana yang menggeneralisasi dengan baik (membuat prediksi yang akurat pada data pelatihan dan data yang tidak terlihat), sambil menghindari sebagian besar fungsi kompleks yang sesuai dengan data pelatihan tetapi berkinerja buruk pada data yang tidak terlihat.
Prinsip yang muncul ini membantu DNN berhasil ketika data mengikuti pola sederhana. Namun, ketika data lebih kompleks dan tidak sesuai dengan pola sederhana, DNN tidak berkinerja baik, kadang -kadang tidak lebih baik dari tebakan acak. Untungnya, data dunia nyata seringkali cukup sederhana dan terstruktur, yang selaras dengan preferensi DNN untuk kesederhanaan. Ini membantu DNN menghindari overfitting (di mana model terlalu 'disetel' ke data pelatihan) saat bekerja dengan data dunia nyata yang sederhana.
Dampak dari memodifikasi proses pembelajaran
Untuk menggali lebih dalam tentang sifat pisau cukur ini, tim menyelidiki bagaimana kinerja jaringan berubah ketika proses pembelajarannya diubah dengan mengubah fungsi matematika tertentu yang memutuskan apakah neuron harus 'menembak' atau tidak.
Mereka menemukan bahwa meskipun DNN yang dimodifikasi ini masih mendukung solusi sederhana, bahkan sedikit penyesuaian pada preferensi ini secara signifikan mengurangi kemampuan mereka untuk menggeneralisasi (atau membuat prediksi yang akurat) pada fungsi boolean sederhana. Masalah ini juga terjadi dalam tugas -tugas pembelajaran lain, menunjukkan bahwa memiliki bentuk pisau cukur Occam yang benar sangat penting bagi jaringan untuk belajar secara efektif.
Temuan baru membantu 'membuka kotak hitam' tentang bagaimana DNN sampai pada kesimpulan tertentu, yang saat ini menyulitkan untuk menjelaskan atau menantang keputusan yang dibuat oleh sistem AI. Namun, sementara temuan ini berlaku untuk DNN secara umum, mereka tidak sepenuhnya menjelaskan mengapa beberapa model DNN spesifik bekerja lebih baik daripada yang lain pada jenis data tertentu.
Christopher Mingard (Departemen Fisika, Universitas Oxford), penulis co-lead penelitian, mengatakan: “Ini menunjukkan bahwa kita perlu melihat melampaui kesederhanaan untuk mengidentifikasi bias induktif tambahan yang mendorong perbedaan kinerja ini.”
Menurut para peneliti, temuan ini menunjukkan paralel yang kuat antara kecerdasan buatan dan prinsip -prinsip dasar alam. Memang, keberhasilan DNN yang luar biasa pada berbagai masalah ilmiah menunjukkan bahwa bias induktif eksponensial ini harus mencerminkan sesuatu yang dalam tentang struktur dunia alami.
“Temuan kami membuka kemungkinan menarik,” kata Profesor Louis. “Bias yang kami amati dalam DNN memiliki bentuk fungsional yang sama dengan bias kesederhanaan dalam sistem evolusi yang membantu menjelaskan, misalnya, prevalensi simetri dalam kompleks protein. Ini menunjuk pada koneksi yang menarik antara pembelajaran dan evolusi, koneksi yang matang untuk eksplorasi lebih lanjut. ”
Referensi: “Jaringan saraf dalam memiliki pisau cukur Occam inbuilt” oleh Chris Mingard, Henry Rees, Guillermo Valle-Pérez dan Ard A. Louis, 14 Januari 2025, Komunikasi Alam.
Doi: 10.1038/s41467-024-54813-x
