Bukan Fiksi Ilmiah: Peneliti Menciptakan Ulang Holodeck Star Trek Menggunakan AI

Para peneliti di College of Pennsylvania dan AI2 telah mengembangkan “Holodeck,” sebuah sistem canggih yang mampu menghasilkan berbagai lingkungan digital untuk melatih agen AI.

Dalam Star Trek: The Subsequent Era, Kapten Picard dan kru USS Enterprise memanfaatkan holodek, sebuah ruangan kosong yang mampu menghasilkan lingkungan tiga dimensi, untuk persiapan misi dan hiburan. Teknologi ini mensimulasikan segalanya mulai dari hutan lebat hingga London milik Sherlock Holmes. Lingkungan yang sangat mendalam dan sepenuhnya interaktif ini dapat disesuaikan tanpa batas; kru cukup meminta pengaturan tertentu dari komputer, dan pengaturan tersebut akan terwujud dalam holodek.

Saat ini, lingkungan interaktif digital juga digunakan untuk melatih robotic sebelum digunakan di dunia nyata dalam proses yang disebut “Sim2Real.” Namun, lingkungan interaktif digital jumlahnya sangat sedikit. “Para seniman menciptakan lingkungan ini secara handbook,” kata Yue Yang, mahasiswa doktoral di laboratorium Mark Yatskar dan Chris Callison-Burch, Asisten dan Affiliate Professor di bidang Ilmu Komputer dan Informasi (CIS). “Para seniman itu dapat menghabiskan waktu seminggu untuk membangun satu lingkungan,” imbuh Yang, sambil mencatat semua keputusan yang terlibat, mulai dari tata letak ruang hingga penempatan objek hingga warna yang digunakan dalam rendering.

Tantangan dalam Menciptakan Lingkungan Pelatihan Digital

Kelangkaan lingkungan digital tersebut menjadi masalah jika Anda ingin melatih robotic untuk menavigasi dunia nyata dengan segala kerumitannya. Jaringan saraf, sistem yang menggerakkan revolusi AI saat ini, membutuhkan information dalam jumlah besar, yang dalam hal ini berarti simulasi dunia fisik. “Sistem AI generatif seperti ChatGPT dilatih pada triliunan kata, dan generator gambar seperti Midjourney dan DALLE dilatih pada miliaran gambar,” kata Callison-Burch. “Kami hanya memiliki sebagian kecil dari jumlah lingkungan 3D tersebut untuk melatih apa yang disebut 'AI yang diwujudkan.' Jika kami ingin menggunakan teknik AI generatif untuk mengembangkan robotic yang dapat menavigasi dengan aman di lingkungan dunia nyata, maka kami perlu membuat jutaan atau miliaran lingkungan simulasi.”

Dengan menggunakan bahasa sehari-hari, pengguna dapat meminta Holodeck untuk menghasilkan berbagai macam ruang 3D yang hampir tak terbatas, yang menciptakan kemungkinan baru untuk melatih robotic dalam menjelajahi dunia. Kredit: Yue Yang

Masuklah Holodeck, sebuah sistem untuk menghasilkan lingkungan 3D interaktif yang diciptakan bersama oleh Callison-Burch, Yatskar, Yang dan Lingjie Liu, Asisten Profesor Aravind Okay. Joshi di CIS, bersama dengan kolaborator di Stanford, Universitas Washingtondan Allen Institute for Synthetic Intelligence (AI2). Dinamai berdasarkan pendahulunya di Star Trek, Holodeck menghasilkan lingkungan dalam ruangan yang hampir tak terbatas, menggunakan AI untuk menginterpretasikan permintaan pengguna. “Kita dapat menggunakan bahasa untuk mengendalikannya,” kata Yang. “Anda dapat dengan mudah mendeskripsikan lingkungan apa pun yang Anda inginkan dan melatih agen AI yang diwujudkan.”

Holodeck memanfaatkan pengetahuan yang tertanam dalam mannequin bahasa besar (LLM), sistem yang mendasari ChatGPT, dan chatbot lainnya. “Bahasa adalah representasi yang sangat ringkas dari seluruh dunia,” kata Yang. Memang, LLM ternyata memiliki tingkat pengetahuan yang sangat tinggi tentang desain ruang, berkat banyaknya teks yang diserap selama pelatihan. Intinya, Holodeck bekerja dengan melibatkan LLM dalam percakapan, menggunakan serangkaian kueri tersembunyi yang terstruktur dengan cermat untuk memecah permintaan pengguna menjadi parameter tertentu.

Aplikasi dan Pengujian Holodeck di Dunia Nyata

Sama seperti Kapten Picard yang mungkin meminta Holodeck Star Trek untuk mensimulasikan bar rahasia, para peneliti dapat meminta Holodeck Penn untuk membuat “apartemen 1b1b milik seorang peneliti yang memiliki kucing.” Sistem menjalankan kueri ini dengan membaginya ke dalam beberapa langkah: pertama, lantai dan dinding dibuat, kemudian pintu dan jendela. Selanjutnya, Holodeck menelusuri Objaverse, pustaka besar objek digital yang telah dibuat sebelumnya, untuk mencari jenis perabotan yang mungkin Anda harapkan di tempat seperti itu: meja kopi, menara kucing, dan sebagainya. Terakhir, Holodeck meminta modul tata letak, yang dirancang oleh para peneliti untuk membatasi penempatan objek, sehingga Anda tidak berakhir dengan rest room yang memanjang secara horizontal dari dinding.

Pada dasarnya, Holodeck melibatkan mannequin bahasa besar (LLM) dalam percakapan, membangun lingkungan digital sepotong demi sepotong. Kredit: Yue Yang

Untuk mengevaluasi kemampuan Holodeck, dalam hal realisme dan ketepatanpara peneliti menghasilkan 120 adegan menggunakan Holodeck dan ProcTHOR, alat sebelumnya yang dibuat oleh AI2, dan meminta beberapa ratus mahasiswa Penn Engineering untuk menunjukkan versi pilihan mereka, tanpa mengetahui adegan mana yang dibuat oleh alat mana. Untuk setiap kriteria — pemilihan aset, koherensi tata letak, dan preferensi keseluruhan — para mahasiswa secara konsisten menilai lingkungan yang dihasilkan oleh Holodeck dengan lebih baik.

Para peneliti juga menguji kemampuan Holodeck untuk menghasilkan adegan yang kurang umum dalam penelitian robotika dan lebih sulit dibuat secara handbook daripada inside apartemen, seperti pertokoan, ruang publik, dan kantor. Membandingkan keluaran Holodeck dengan keluaran ProcTHOR, yang dihasilkan menggunakan aturan yang dibuat manusia daripada teks yang dihasilkan AI, para peneliti menemukan sekali lagi bahwa evaluator manusia lebih menyukai adegan yang dibuat oleh Holodeck. Preferensi itu berlaku di berbagai lingkungan dalam ruangan, dari laboratorium sains hingga studio seni, ruang ganti hingga gudang anggur.

Akhirnya, para peneliti menggunakan adegan yang dihasilkan oleh Holodeck untuk “menyempurnakan” agen AI yang diwujudkan. “Ujian utama Holodeck,” kata Yatskar, “adalah menggunakannya untuk membantu robotic berinteraksi dengan lingkungan mereka dengan lebih aman dengan mempersiapkan mereka untuk menghuni tempat-tempat yang belum pernah mereka kunjungi sebelumnya.”

Di berbagai jenis ruang digital, termasuk kantor, tempat penitipan anak, pusat kebugaran, dan arkade, Holodeck memberi efek nyata dan positif terhadap kemampuan agen untuk menavigasi ruang baru.

Misalnya, sementara agen berhasil menemukan piano di ruang musik hanya sekitar 6% dari waktu ketika dilatih terlebih dahulu menggunakan ProcTHOR (yang melibatkan agen yang mengambil sekitar 400 juta langkah digital), agen berhasil lebih dari 30% dari waktu ketika disempurnakan menggunakan 100 ruang musik yang dihasilkan oleh Holodeck.

“Bidang ini telah lama berfokus pada penelitian di tempat tinggal,” kata Yang. “Namun, ada begitu banyak lingkungan yang beragam di luar sana — menghasilkan banyak lingkungan secara efisien untuk melatih robotic selalu menjadi tantangan besar, tetapi Holodeck menyediakan fungsionalitas ini.”

Referensi: “Holodeck: Pembuatan Lingkungan AI Terwujud 3D yang Dipandu Bahasa” oleh Yue Yang, Fan-Yun Solar, Luca Weihs, Eli VanderBilt, Alvaro Herrasti, Winson Han, Jiajun Wu, Nick Haber, Ranjay Krishna, Lingjie Liu, Chris Callison-Burch, Mark Yatskar, Aniruddha Kembhavi, dan Christopher Clark, 22 April 2024, arXiv.
DOI: 10.48550/arXiv.2312.09067

Para peneliti mempresentasikan Holodeck di Konferensi Pc Imaginative and prescient and Sample Recognition (CVPR) dari Institute of Electrical and Electronics Engineers (IEEE) dan Pc Imaginative and prescient Basis (CVF) 2024 di Seattle, Washington.

Penelitian ini dilakukan di universitas Pennsylvania Sekolah Teknik dan Sains Terapan dan di Institut Allen untuk Kecerdasan Buatan (AI2).