Meniru Mata Manusia, Peneliti Merevolusi Kamera Robotic

Kamera baru meniru gerakan mata manusia yang tidak disengaja untuk menciptakan gambar yang lebih tajam dan akurat untuk robotic, telepon pintar, dan perangkat penangkap gambar lainnya.

Ilmuwan komputer telah menciptakan mekanisme kamera yang meningkatkan cara robotic melihat dan bereaksi terhadap dunia di sekitar mereka. Terinspirasi oleh cara kerja mata manusia, tim peneliti yang dipimpin oleh College of Maryland mengembangkan sistem kamera inovatif yang meniru gerakan kecil tak sadar yang digunakan oleh mata untuk mempertahankan penglihatan yang jelas dan stabil dari waktu ke waktu. Prototipe dan pengujian kamera oleh tim tersebut—yang disebut Synthetic Microsaccade-Enhanced Occasion Digital camera (AMI-EV)—diperinci dalam sebuah makalah yang baru-baru ini diterbitkan dalam jurnal Sains Robotika.

Kemajuan dalam Teknologi Kamera Acara

“Kamera occasion merupakan teknologi yang relatif baru dan lebih baik dalam melacak objek bergerak dibandingkan kamera tradisional, tetapi kamera occasion masa kini kesulitan untuk menangkap gambar yang tajam dan bebas blur saat melibatkan banyak gerakan,” kata penulis utama makalah Botao He, mahasiswa Ph.D. ilmu komputer di UMD. “Ini merupakan masalah besar karena robotic dan banyak teknologi lainnya—seperti mobil self-driving—bergantung pada gambar yang akurat dan tepat waktu untuk bereaksi dengan tepat terhadap lingkungan yang berubah. Jadi, kami bertanya pada diri sendiri: Bagaimana manusia dan hewan memastikan penglihatan mereka tetap fokus pada objek yang bergerak?”

Penggambaran sistem kamera kejadian baru versus sistem kamera kejadian standar. Kredit: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh

Meniru Gerakan Mata Manusia

Bagi tim He, jawabannya adalah mikrosakade, gerakan mata kecil dan cepat yang terjadi tanpa sengaja saat seseorang mencoba memfokuskan pandangannya. Melalui gerakan kecil namun terus-menerus ini, mata manusia dapat tetap fokus pada objek dan tekstur visualnya—seperti warna, kedalaman, dan bayangan—secara akurat dari waktu ke waktu.

“Kami menduga bahwa seperti halnya mata kita yang membutuhkan gerakan-gerakan kecil untuk tetap fokus, kamera dapat menggunakan prinsip yang sama untuk menangkap gambar yang jelas dan akurat tanpa keburaman akibat gerakan,” katanya.

Implementasi dan Pengujian Teknologi

Tim berhasil mereplikasi mikrosakade dengan memasukkan prisma berputar ke dalam AMI-EV untuk mengarahkan berkas cahaya yang ditangkap oleh lensa. Gerakan rotasi prisma yang berkelanjutan mensimulasikan gerakan yang terjadi secara alami di dalam mata manusia, sehingga kamera dapat menstabilkan tekstur objek yang direkam seperti yang dilakukan manusia. Tim kemudian mengembangkan perangkat lunak untuk mengimbangi gerakan prisma di dalam AMI-EV guna menggabungkan gambar yang stabil dari cahaya yang berubah-ubah.

Demonstrasi bagaimana mikrosakade menangkal pemudaran visible. Setelah beberapa detik fiksasi (menatap) pada titik merah dalam gambar statis ini, element latar belakang gambar ini mulai memudar secara visible. Hal ini karena mikrosakade telah ditekan selama waktu ini dan mata tidak dapat memberikan rangsangan visible yang efektif untuk mencegah pemudaran perifer. Kredit: Laboratorium Penglihatan Komputer UMIACS

Rekan penulis studi Yiannis Aloimonos, seorang profesor ilmu komputer di UMD, memandang penemuan tim tersebut sebagai langkah maju yang besar dalam bidang penglihatan robotik.

“Mata kita mengambil gambar dunia di sekitar kita dan gambar-gambar tersebut dikirim ke otak kita, tempat gambar-gambar tersebut dianalisis. Persepsi terjadi melalui proses itu dan begitulah cara kita memahami dunia,” jelas Aloimonos, yang juga merupakan direktur Laboratorium Visi Komputer di College of Maryland Institute for Superior Pc Research (UMIACS). “Saat Anda bekerja dengan robotic, ganti mata dengan kamera dan otak dengan komputer. Kamera yang lebih baik berarti persepsi dan reaksi yang lebih baik bagi robotic.”

Dampak Potensial pada Berbagai Industri

Para peneliti juga percaya bahwa inovasi mereka dapat memiliki implikasi yang signifikan di luar bidang robotika dan pertahanan nasional. Para ilmuwan yang bekerja di industri yang mengandalkan penangkapan gambar yang akurat dan deteksi bentuk terus mencari cara untuk meningkatkan kamera mereka—dan AMI-EV dapat menjadi solusi utama untuk banyak masalah yang mereka hadapi.

“Dengan fitur-fiturnya yang unik, sensor kejadian dan AMI-EV siap menjadi pusat perhatian di ranah perangkat pintar yang dapat dikenakan,” kata ilmuwan riset Cornelia Fermüller, penulis senior makalah tersebut. “Mereka memiliki keunggulan tersendiri dibandingkan kamera klasik—seperti kinerja yang unggul dalam kondisi pencahayaan ekstrem, latensi rendah, dan konsumsi daya rendah. Fitur-fitur ini preferrred untuk aplikasi realitas digital, misalnya, yang membutuhkan pengalaman yang lancar dan komputasi cepat gerakan kepala dan tubuh.”

Penggambaran sistem kamera kejadian baru versus sistem kamera kejadian standar. Kredit: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh

Peningkatan dalam Pemrosesan Gambar Actual-Time

Dalam pengujian awal, AMI-EV mampu menangkap dan menampilkan gerakan secara akurat dalam berbagai konteks, termasuk deteksi denyut nadi manusia dan identifikasi bentuk yang bergerak cepat. Para peneliti juga menemukan bahwa AMI-EV dapat menangkap gerakan dalam puluhan ribu bingkai per detik, mengungguli sebagian besar kamera komersial yang tersedia, yang menangkap rata-rata 30 hingga 1000 bingkai per detik. Penggambaran gerakan yang lebih halus dan lebih realistis ini dapat terbukti penting dalam segala hal mulai dari menciptakan pengalaman augmented actuality yang lebih mendalam dan pemantauan keamanan yang lebih baik hingga meningkatkan cara astronom menangkap gambar di luar angkasa.

Kesimpulan dan Prospek Masa Depan

“Sistem kamera baru kami dapat memecahkan banyak masalah khusus, seperti membantu mobil tanpa pengemudi untuk mengetahui siapa di jalan yang merupakan manusia dan siapa yang bukan,” kata Aloimonos. “Hasilnya, sistem ini memiliki banyak aplikasi yang sudah digunakan oleh sebagian besar masyarakat umum, seperti sistem mengemudi otomatis atau bahkan kamera ponsel pintar. Kami yakin bahwa sistem kamera baru kami membuka jalan bagi sistem yang lebih canggih dan canggih di masa mendatang.”

Referensi: “Kamera peristiwa yang terinspirasi Microsaccade untuk robotika” oleh Botao He, Ze Wang, Yuan Zhou, Jingxi Chen, Chahat Deep Singh, Haojia Li, Yuman Gao, Shaojie Shen, Kaiwei Wang, Yanjun Cao, Chao Xu, Yiannis Aloimonos, Fei Gao dan Cornelia Fermüller, 29 Mei 2024, Sains Robotika.
DOI: 10.1126/scirobotik.adj8124

Selain He, Aloimonos, dan Fermüller, rekan penulis UMD lainnya termasuk Jingxi Chen (BS '20, ilmu komputer; MS '22, ilmu komputer) dan Chahat Deep Singh (ME '18, robotika; Ph.D. '23, ilmu komputer).

Penelitian ini didukung oleh Yayasan Sains Nasional AS (Nomor Hibah 2020624) dan Yayasan Sains Alam Nasional Tiongkok (Nomor Hibah 62322314 dan 62088101). Artikel ini tidak selalu mencerminkan pandangan kedua organisasi tersebut.