Melihat yang Tak Terlihat: Teknologi Inovatif Memungkinkan Mobil Mengintip di Sudut Jalan

Para peneliti memanfaatkan bayangan untuk memodelkan pemandangan 3D, termasuk objek yang terhalang dari pandangan.

Teknik ini dapat menghasilkan kendaraan otonom yang lebih aman, headset AR/VR yang lebih efisien, atau robotic gudang yang lebih cepat.

Bayangkan mengemudi melalui terowongan dengan kendaraan otonom, tetapi tanpa Anda sadari, sebuah tabrakan telah menghentikan lalu lintas di depan. Biasanya, Anda perlu mengandalkan mobil di depan untuk mengetahui apakah Anda harus mulai mengerem. Namun, bagaimana jika kendaraan Anda dapat melihat sekeliling mobil di depan dan mengerem lebih cepat?

Peneliti dari Universitas Massachusetts dan Meta telah mengembangkan teknik visi komputer yang suatu hari nanti dapat memungkinkan kendaraan otonom untuk melakukan hal itu.

Mereka telah memperkenalkan metode yang menciptakan mannequin 3D yang akurat secara fisik dari keseluruhan pemandangan, termasuk space yang terhalang dari pandangan, menggunakan gambar dari satu posisi kamera. Teknik mereka menggunakan bayangan untuk menentukan apa yang ada di bagian pemandangan yang terhalang.

Plato-NeRF adalah sistem visi komputer yang menggabungkan pengukuran lidar dengan pembelajaran mesin untuk merekonstruksi adegan 3D, termasuk objek tersembunyi, hanya dari satu tampilan kamera dengan memanfaatkan bayangan. Di sini, sistem secara akurat memodelkan kelinci di kursi, meskipun kelinci itu terhalang dari pandangan. Kredit: Atas kebaikan para peneliti, disunting oleh MIT Information

Mereka menyebut pendekatan mereka PlatoNeRF, berdasarkan alegori Plato tentang gua, sebuah petikan dari “Republik” karya filsuf Yunani di mana para tahanan yang dirantai di dalam gua memahami realitas dunia luar berdasarkan bayangan yang terbentuk di dinding gua.

Dengan menggabungkan pendeteksi cahaya (teknologi deteksi dan jangkauan cahaya) dengan pembelajaran mesinPlatoNeRF dapat menghasilkan rekonstruksi geometri 3D yang lebih akurat daripada beberapa teknik AI yang ada. Selain itu, PlatoNeRF lebih baik dalam merekonstruksi adegan dengan lancar di mana bayangan sulit terlihat, seperti adegan dengan cahaya sekitar yang tinggi atau latar belakang yang gelap.

Meningkatkan AR/VR dan Robotika Dengan PlatoNeRF

Selain meningkatkan keamanan kendaraan otonom, PlatoNeRF dapat membuat headset AR/VR lebih efisien dengan memungkinkan pengguna untuk memodelkan geometri ruangan tanpa perlu berjalan-jalan untuk melakukan pengukuran. Hal ini juga dapat membantu robotic gudang menemukan barang di lingkungan yang berantakan dengan lebih cepat.

“Ide utama kami adalah menggabungkan dua hal yang telah dilakukan dalam berbagai disiplin ilmu sebelumnya — multibounce lidar dan machine studying. Ternyata ketika Anda menggabungkan keduanya, saat itulah Anda menemukan banyak peluang baru untuk mengeksplorasi dan mendapatkan yang terbaik dari kedua dunia,” kata Tzofi Klinghoffer, mahasiswa pascasarjana MIT dalam bidang seni dan sains media, asisten peneliti di Digicam Tradition Group di MIT Media Lab, dan penulis utama makalah tentang PlatoNeRF.

Klinghoffer menulis makalah tersebut bersama penasihatnya, Ramesh Raskar, profesor madya bidang seni dan sains media serta pemimpin Digicam Tradition Group di MIT; penulis senior Rakesh Ranjan, direktur penelitian AI di Meta Actuality Labs; serta Siddharth Somasundaram, asisten peneliti di Digicam Tradition Group, dan Xiaoyu Xiang, Yuchen Fan, dan Christian Richardt di Meta. Penelitian tersebut akan dipresentasikan di Convention on Pc Imaginative and prescient and Sample Recognition.

Rekonstruksi 3D Canggih dengan Lidar dan Pembelajaran Mesin

Merekonstruksi adegan 3D penuh dari satu sudut pandang kamera merupakan masalah yang rumit.

Beberapa pendekatan pembelajaran mesin menggunakan mannequin AI generatif yang mencoba menebak apa yang ada di space yang tertutup, tetapi mannequin ini dapat berhalusinasi pada objek yang sebenarnya tidak ada. Pendekatan lain mencoba menyimpulkan bentuk objek tersembunyi menggunakan bayangan dalam gambar berwarna, tetapi metode ini dapat mengalami kesulitan jika bayangan sulit dilihat.

Untuk PlatoNeRF, para peneliti MIT membangun pendekatan ini menggunakan modalitas penginderaan baru yang disebut single-foton lidar. Lidar memetakan pemandangan 3D dengan memancarkan denyut cahaya dan mengukur waktu yang dibutuhkan cahaya tersebut untuk memantul kembali ke sensor. Karena lidar foton tunggal dapat mendeteksi foton particular person, lidar menyediakan information beresolusi lebih tinggi.

Para peneliti menggunakan lidar foton tunggal untuk menerangi titik goal dalam pemandangan. Sebagian cahaya memantul dari titik tersebut dan kembali langsung ke sensor. Akan tetapi, sebagian besar cahaya menyebar dan memantul dari objek lain sebelum kembali ke sensor. PlatoNeRF mengandalkan pantulan cahaya kedua ini.

Dengan menghitung berapa lama waktu yang dibutuhkan cahaya untuk memantul dua kali dan kemudian kembali ke sensor lidar, PlatoNeRF menangkap informasi tambahan tentang pemandangan, termasuk kedalaman. Pantulan cahaya kedua juga berisi informasi tentang bayangan.

Sistem melacak sinar cahaya sekunder — sinar yang memantul dari titik goal ke titik lain dalam pemandangan — untuk menentukan titik mana yang berada dalam bayangan (akibat tidak adanya cahaya). Berdasarkan lokasi bayangan ini, PlatoNeRF dapat menyimpulkan geometri objek tersembunyi.

Lidar secara berurutan menerangi 16 titik, menangkap beberapa gambar yang digunakan untuk merekonstruksi keseluruhan pemandangan 3D.

“Setiap kali kita menyinari suatu titik dalam pemandangan, kita menciptakan bayangan baru. Karena kita memiliki semua sumber cahaya yang berbeda, kita memiliki banyak sinar cahaya yang memancar ke sekeliling, jadi kita mengukir daerah yang tertutup dan berada di luar jangkauan mata,” kata Klinghoffer.

Menggabungkan Lidar Multibounce dan Medan Radiasi Neural

Kunci PlatoNeRF adalah kombinasi lidar multibounce dengan jenis khusus mannequin pembelajaran mesin yang dikenal sebagai medan radiasi neural (NeRF). NeRF mengodekan geometri suatu pemandangan ke dalam bobot jaringan neural, yang memberi mannequin kemampuan kuat untuk menginterpolasi, atau memperkirakan, tampilan baru suatu pemandangan.

Kemampuan interpolasi ini juga menghasilkan rekonstruksi pemandangan yang sangat akurat bila dikombinasikan dengan lidar multibounce, kata Klinghoffer.

“Tantangan terbesar adalah mencari tahu cara menggabungkan kedua hal ini. Kami benar-benar harus memikirkan fisika tentang bagaimana cahaya bergerak dengan lidar multibounce dan cara memodelkannya dengan pembelajaran mesin,” katanya.

Mereka membandingkan PlatoNeRF dengan dua metode alternatif umum, satu yang hanya menggunakan lidar dan lainnya yang hanya menggunakan NeRF dengan gambar berwarna.

Mereka menemukan bahwa metode mereka mampu mengungguli kedua teknik tersebut, terutama saat sensor lidar memiliki resolusi yang lebih rendah. Hal ini akan membuat pendekatan mereka lebih praktis untuk diterapkan di dunia nyata, di mana sensor beresolusi rendah umum digunakan pada perangkat komersial.

“Sekitar 15 tahun yang lalu, kelompok kami menemukan kamera pertama yang dapat 'melihat' sudut-sudut, yang bekerja dengan memanfaatkan beberapa pantulan cahaya, atau 'gema cahaya.' Teknik-teknik tersebut menggunakan laser dan sensor khusus, dan menggunakan tiga pantulan cahaya. Sejak saat itu, teknologi lidar menjadi lebih umum, yang mengarah pada penelitian kami tentang kamera yang dapat melihat melalui kabut. Karya baru ini hanya menggunakan dua pantulan cahaya, yang berarti rasio sinyal terhadap derau sangat tinggi, dan kualitas rekonstruksi 3D sangat mengesankan,” kata Raskar.

Di masa mendatang, para peneliti ingin mencoba melacak lebih dari dua pantulan cahaya untuk melihat bagaimana hal itu dapat meningkatkan rekonstruksi pemandangan. Selain itu, mereka tertarik untuk menerapkan lebih banyak teknik pembelajaran mendalam dan menggabungkan PlatoNeRF dengan pengukuran gambar berwarna untuk menangkap informasi tekstur.

“Meskipun gambar bayangan dari kamera telah lama dipelajari sebagai sarana rekonstruksi 3D, karya ini meninjau kembali masalah tersebut dalam konteks lidar, menunjukkan peningkatan signifikan dalam ketepatan geometri tersembunyi yang direkonstruksi. Karya ini menunjukkan bagaimana algoritme yang cerdas dapat memungkinkan kemampuan luar biasa jika dikombinasikan dengan sensor biasa — termasuk sistem lidar yang kini banyak kita bawa di saku,” kata David Lindell, asisten profesor di Departemen Ilmu Komputer di Universitas Toronto, yang tidak terlibat dalam karya ini.

Referensi: “PlatoNeRF: Rekonstruksi 3D di Gua Plato melalui Lidar Dua Pantulan Tampilan Tunggal” oleh Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan, 2024, Prosiding Konferensi IEEE/CVF tentang Visi Komputer dan Pengenalan Pola (CVPR).