Membuka Potensi AI: Algoritma Baru MIT Meningkatkan Efisiensi hingga 50x
MIT para peneliti telah memperkenalkan algoritma pembelajaran penguatan yang efisien yang meningkatkan pengambilan keputusan AI dalam skenario yang kompleks, seperti pengendalian lalu lintas kota.
Dengan memilih tugas optimal untuk pelatihan secara strategis, algoritme ini mencapai peningkatan kinerja secara signifikan dengan data yang jauh lebih sedikit, sehingga menawarkan peningkatan efisiensi sebesar 50x. Metode ini tidak hanya menghemat waktu dan sumber daya tetapi juga membuka jalan bagi penerapan AI yang lebih efektif di dunia nyata.
Pengambilan Keputusan AI
Di berbagai bidang seperti robotika, kedokteran, dan ilmu politik, para peneliti berupaya melatih sistem AI untuk membuat keputusan yang bermakna dan berdampak. Misalnya, sistem AI yang dirancang untuk mengatur lalu lintas di kota yang padat dapat membantu pengemudi mencapai tujuan mereka lebih cepat sekaligus meningkatkan keselamatan dan keberlanjutan.
Namun, mengajarkan AI untuk membuat keputusan yang efektif merupakan tantangan yang kompleks.
Tantangan dalam Pembelajaran Penguatan
Model pembelajaran penguatan, yang merupakan dasar dari banyak sistem pengambilan keputusan AI, sering kali mengalami kesulitan ketika dihadapkan dengan perubahan kecil sekalipun dalam tugas yang mereka dilatih. Misalnya, dalam manajemen lalu lintas, suatu model mungkin gagal ketika menangani persimpangan dengan batas kecepatan, konfigurasi jalur, atau pola lalu lintas yang berbeda-beda.
Untuk meningkatkan keandalan model pembelajaran penguatan untuk tugas-tugas kompleks dengan variabilitas, peneliti MIT telah memperkenalkan algoritma yang lebih efisien untuk melatihnya.
Pemilihan Tugas Strategis dalam Pelatihan AI
Algoritme ini secara strategis memilih tugas terbaik untuk melatih agen AI sehingga dapat secara efektif melakukan semua tugas dalam kumpulan tugas terkait. Dalam kasus pengendalian sinyal lalu lintas, setiap tugas dapat berupa satu persimpangan dalam ruang tugas yang mencakup seluruh persimpangan di kota.
Dengan berfokus pada sejumlah kecil persimpangan yang berkontribusi paling besar terhadap efektivitas algoritma secara keseluruhan, metode ini memaksimalkan kinerja sekaligus menjaga biaya pelatihan tetap rendah.
Meningkatkan Efisiensi AI Dengan Algoritma Sederhana
Para peneliti menemukan bahwa teknik mereka lima hingga 50 kali lebih efisien dibandingkan pendekatan standar pada serangkaian tugas simulasi. Peningkatan efisiensi ini membantu algoritme mempelajari solusi yang lebih baik dengan cara yang lebih cepat, yang pada akhirnya meningkatkan kinerja agen AI.
“Kami dapat melihat peningkatan kinerja yang luar biasa, dengan algoritma yang sangat sederhana, dengan berpikir di luar kebiasaan. Algoritme yang tidak terlalu rumit memiliki peluang lebih besar untuk diadopsi oleh komunitas karena lebih mudah diterapkan dan lebih mudah dipahami orang lain,” kata penulis senior Cathy Wu, Profesor Asosiasi Pengembangan Karir Thomas D. dan Virginia W. Cabot. di bidang Teknik Sipil dan Lingkungan (CEE) dan Institut Data, Sistem, dan Masyarakat (IDSS), dan anggota Laboratorium Sistem Informasi dan Keputusan (LIDS).
Dia bergabung dalam makalah ini dengan penulis utama Jung-Hoon Cho, seorang mahasiswa pascasarjana CEE; Vindula Jayawardana, mahasiswa pascasarjana di Departemen Teknik Elektro dan Ilmu Komputer (EECS); dan Sirui Li, seorang mahasiswa pascasarjana IDSS. Penelitian ini akan dipresentasikan pada Konferensi Sistem Pemrosesan Informasi Neural.
Menyeimbangkan Pendekatan Pelatihan
Untuk melatih algoritme guna mengontrol lampu lalu lintas di banyak persimpangan dalam kota, seorang insinyur biasanya memilih di antara dua pendekatan utama. Dia dapat melatih satu algoritma untuk setiap persimpangan secara independen, hanya menggunakan data persimpangan tersebut, atau melatih algoritma yang lebih besar menggunakan data dari semua persimpangan dan kemudian menerapkannya pada masing-masing persimpangan.
Namun setiap pendekatan mempunyai kelemahannya masing-masing. Melatih algoritme terpisah untuk setiap tugas (seperti persimpangan tertentu) adalah proses yang memakan waktu dan memerlukan data dan komputasi dalam jumlah besar, sedangkan melatih satu algoritme untuk semua tugas sering kali menghasilkan performa di bawah standar.
Wu dan kolaboratornya mencari titik temu di antara kedua pendekatan ini.
Keuntungan Pembelajaran Transfer Berbasis Model
Untuk metodenya, mereka memilih subkumpulan tugas dan melatih satu algoritma untuk setiap tugas secara mandiri. Yang penting, mereka secara strategis memilih tugas-tugas individual yang paling mungkin meningkatkan kinerja algoritma secara keseluruhan pada semua tugas.
Mereka memanfaatkan trik umum dari bidang pembelajaran penguatan yang disebut pembelajaran transfer zero-shot, di mana model yang sudah dilatih diterapkan ke tugas baru tanpa dilatih lebih lanjut. Dengan pembelajaran transfer, model sering kali berkinerja sangat baik pada tugas tetangga baru.
“Kami tahu bahwa melatih semua tugas adalah hal yang ideal, namun kami bertanya-tanya apakah kami dapat melakukan pelatihan pada sebagian tugas tersebut, menerapkan hasilnya pada semua tugas, dan masih melihat peningkatan kinerja,” kata Wu.
Algoritma MBTL: Mengoptimalkan Pemilihan Tugas
Untuk mengidentifikasi tugas mana yang harus mereka pilih untuk memaksimalkan kinerja yang diharapkan, para peneliti mengembangkan algoritma yang disebut Model-Based Transfer Learning (MBTL).
Algoritma MBTL memiliki dua bagian. Pertama, ini memodelkan seberapa baik kinerja setiap algoritme jika dilatih secara independen pada satu tugas. Kemudian ia memodelkan seberapa besar penurunan kinerja masing-masing algoritme jika ditransfer ke tugas lainnya, sebuah konsep yang dikenal sebagai kinerja generalisasi.
Memodelkan kinerja generalisasi secara eksplisit memungkinkan MBTL memperkirakan nilai pelatihan pada tugas baru.
MBTL melakukan hal ini secara berurutan, memilih tugas yang menghasilkan peningkatan kinerja tertinggi terlebih dahulu, kemudian memilih tugas tambahan yang memberikan peningkatan marjinal terbesar berikutnya terhadap kinerja keseluruhan.
Karena MBTL hanya berfokus pada tugas-tugas yang paling menjanjikan, MBTL dapat meningkatkan efisiensi proses pelatihan secara signifikan.
Implikasinya terhadap Perkembangan AI di Masa Depan
Ketika para peneliti menguji teknik ini pada tugas-tugas simulasi, termasuk mengendalikan sinyal lalu lintas, mengelola peringatan kecepatan secara real-time, dan melaksanakan beberapa tugas kontrol klasik, teknik ini lima hingga 50 kali lebih efisien dibandingkan metode lainnya.
Artinya, mereka dapat mencapai solusi yang sama dengan melatih data yang jauh lebih sedikit. Misalnya, dengan peningkatan efisiensi 50x, algoritme MBTL dapat melatih dua tugas saja dan mencapai performa yang sama dengan metode standar yang menggunakan data dari 100 tugas.
“Dari perspektif dua pendekatan utama, ini berarti data dari 98 tugas lainnya tidak diperlukan atau pelatihan pada 100 tugas tersebut membingungkan algoritme, sehingga kinerjanya menjadi lebih buruk daripada kami,” kata Wu.
Dengan MBTL, menambahkan sedikit waktu pelatihan tambahan dapat menghasilkan kinerja yang jauh lebih baik.
Di masa depan, para peneliti berencana merancang algoritma MBTL yang dapat diperluas ke masalah yang lebih kompleks, seperti ruang tugas berdimensi tinggi. Mereka juga tertarik untuk menerapkan pendekatan mereka terhadap permasalahan dunia nyata, khususnya dalam sistem mobilitas generasi mendatang.
Referensi: “Pembelajaran Transfer Berbasis Model untuk Pembelajaran Penguatan Kontekstual” oleh Jung-Hoon Cho, Vindula Jayawardana, Sirui Li dan Cathy Wu, 21 November 2024, Ilmu Komputer > Pembelajaran Mesin.
arXiv:2408.04498
Penelitian ini sebagian didanai oleh National Science Foundation CAREER Award, Kwanjeong Educational Foundation PhD Scholarship Program, dan Amazon Robotics PhD Fellowship.
