Terobosan Pemrograman: Lompatan AI dari Bahasa ke Logika untuk Memecahkan Masalah Kompleks

Para peneliti telah mengembangkan teknik yang disebut program tertanam bahasa alami (NLEP) yang meningkatkan kinerja mannequin bahasa besar dengan menghasilkan program Python untuk memecahkan tugas-tugas rumit.

Metode ini tidak hanya meningkatkan ketepatan dan efisiensi tetapi juga meningkatkan transparansi, karena pengguna dapat langsung melihat dan memodifikasi kode yang dihasilkan. NLEP memungkinkan mannequin besar seperti GPT-4 untuk menyelesaikan berbagai tugas dengan presisi lebih tinggi dan berpotensi meningkatkan privasi knowledge dan kinerja mannequin yang lebih kecil tanpa pelatihan ulang yang ekstensif.

Meningkatkan Kemampuan Penalaran Mannequin Bahasa Besar

Mannequin bahasa besar seperti yang mendukung ChatGPT telah menunjukkan kinerja yang mengesankan pada tugas-tugas seperti menyusun ringkasan hukum, menganalisis sentimen ulasan pelanggan, atau menerjemahkan dokumen ke berbagai bahasa.

Mannequin pembelajaran mesin ini biasanya hanya menggunakan bahasa alami untuk memproses informasi dan menjawab pertanyaan, yang dapat mempersulit mereka untuk melakukan tugas yang memerlukan penalaran numerik atau simbolis.

Misalnya, mannequin bahasa yang besar mungkin dapat menghafal dan melafalkan daftar presiden AS terkini dan hari ulang tahun mereka, tetapi mannequin yang sama dapat gagal jika ditanya pertanyaan “Presiden AS mana yang terpilih setelah tahun 1950 yang lahir pada hari Rabu?” (Jawabannya adalah Jimmy Carter.)

Teknik baru memungkinkan mannequin bahasa besar seperti GPT-4 untuk memecahkan tugas penalaran numerik atau simbolik dengan lebih akurat dengan menulis program Python dalam kode yang menghasilkan jawaban yang benar untuk pertanyaan pengguna. Kredit: Christine Daniloff, MIT; iStock

Meningkatkan Kemampuan Mannequin Melalui NLEP

Peneliti dari Universitas Massachusetts dan di tempat lain telah mengusulkan teknik baru yang memungkinkan mannequin bahasa besar untuk memecahkan bahasa alami, matematika dan analisis knowledge, serta tugas penalaran simbolik dengan membuat program.

Pendekatan mereka, yang disebut program tertanam bahasa alami (NLEP), melibatkan permintaan mannequin bahasa untuk membuat dan mengeksekusi program Python untuk memecahkan pertanyaan pengguna, dan kemudian mengeluarkan solusi sebagai bahasa alami.

Peningkatan Akurasi dan Transparansi

Mereka menemukan bahwa NLEP memungkinkan mannequin bahasa yang besar untuk mencapai akurasi yang lebih tinggi pada berbagai tugas penalaran. Pendekatan ini juga dapat digeneralisasikan, yang berarti satu perintah NLEP dapat digunakan kembali untuk beberapa tugas.

NLEP juga meningkatkan transparansi karena pengguna dapat memeriksa program untuk melihat dengan tepat bagaimana mannequin menalar pertanyaan dan memperbaiki program jika mannequin memberikan jawaban yang salah.

“Kami ingin AI melakukan penalaran kompleks dengan cara yang transparan dan tepercaya. Masih banyak yang harus dilakukan, tetapi kami telah menunjukkan bahwa menggabungkan kemampuan pemrograman dan bahasa alami dalam mannequin bahasa yang besar merupakan langkah awal yang sangat potensial menuju masa depan di mana orang dapat sepenuhnya memahami dan memercayai apa yang terjadi di dalam mannequin AI mereka,” kata Hongyin Luo PhD '22, seorang postdoc MIT dan salah satu penulis utama makalah tentang NLEP.

Luo bergabung dalam makalah tersebut bersama dengan penulis utama Tianhua Zhang, mahasiswa pascasarjana di Universitas Cina Hong Kong; dan Jiaxin Ge, mahasiswa sarjana di Universitas Peking; Yoon Kim, asisten profesor di Departemen Teknik Elektro dan Ilmu Komputer MIT dan anggota Laboratorium Ilmu Komputer dan Kecerdasan Buatan (Bahasa Indonesia: CSAIL); penulis senior James Glass, ilmuwan peneliti senior dan kepala Spoken Language Methods Group di CSAIL; dan lain-lain. Penelitian ini akan dipresentasikan pada Konferensi Tahunan North American Chapter of the Affiliation for Computational Linguistics.

Desain NLEP dan Mekanisme Operasional

Banyak mannequin bahasa besar yang populer bekerja dengan cara memprediksi kata atau token berikutnya, berdasarkan masukan bahasa alami. Meskipun mannequin seperti GPT-4 dapat digunakan untuk menulis program, mannequin tersebut menyematkan program tersebut dalam bahasa alami, yang dapat menyebabkan kesalahan dalam penalaran atau hasil program.

Dengan NLEP, para peneliti MIT mengambil pendekatan yang berlawanan. Mereka meminta mannequin untuk membuat program langkah demi langkah sepenuhnya dalam kode Python, lalu menanamkan bahasa alami yang diperlukan di dalam program.

NLEP adalah templat pemecahan masalah dengan empat langkah. Pertama, mannequin memanggil paket atau fungsi yang diperlukan untuk menyelesaikan tugas. Langkah kedua melibatkan pengimporan representasi bahasa alami dari pengetahuan yang dibutuhkan tugas (seperti daftar ulang tahun presiden AS). Untuk langkah ketiga, mannequin mengimplementasikan fungsi yang menghitung jawaban. Dan untuk langkah terakhir, mannequin mengeluarkan hasil sebagai baris bahasa alami dengan visualisasi knowledge otomatis, jika diperlukan.

“Ini seperti kalkulator digital yang selalu memberikan hasil perhitungan yang benar selama programnya benar,” kata Luo.

Pengguna dapat dengan mudah menyelidiki program dan memperbaiki kesalahan apa pun dalam kode secara langsung daripada perlu menjalankan ulang keseluruhan mannequin untuk memecahkan masalah.

Pendekatan ini juga menawarkan efisiensi yang lebih tinggi daripada beberapa metode lainnya. Jika pengguna memiliki banyak pertanyaan serupa, mereka dapat membuat satu program inti lalu mengganti variabel tertentu tanpa perlu menjalankan mannequin berulang kali.

Untuk mendorong mannequin agar menghasilkan NLEP, para peneliti memberinya instruksi keseluruhan untuk menulis program Python, menyediakan dua contoh NLEP (satu dengan matematika dan satu dengan bahasa alami), dan satu pertanyaan uji.

“Biasanya, ketika orang melakukan perintah dengan beberapa perintah seperti ini, mereka masih harus merancang perintah untuk setiap tugas. Kami menemukan bahwa kami dapat memiliki satu perintah untuk banyak tugas karena perintah tersebut bukanlah perintah yang mengajarkan LLM untuk memecahkan satu masalah, tetapi perintah yang mengajarkan LLM untuk memecahkan banyak masalah dengan menulis program,” kata Luo.

“Dengan membuat mannequin bahasa bernalar dengan kode, akan terbuka banyak peluang untuk penggunaan alat, validasi keluaran, pemahaman yang lebih terstruktur terhadap kemampuan dan cara berpikir mannequin, dan masih banyak lagi,” kata Leonid Karlinsky, kepala ilmuwan di MIT-IBM Watson AI Lab.

“Tidak Ada Keajaiban di Sini”

NLEP mencapai akurasi lebih dari 90 persen saat meminta GPT-4 untuk menyelesaikan berbagai tugas penalaran simbolik, seperti melacak objek yang diacak atau memainkan permainan 24 angka, serta tugas mengikuti instruksi dan klasifikasi teks. Para peneliti menemukan bahwa NLEP bahkan menunjukkan akurasi 30 persen lebih tinggi daripada metode permintaan tugas khusus. Metode ini juga menunjukkan peningkatan dibandingkan LLM sumber terbuka.

Selain meningkatkan akurasi mannequin bahasa yang besar, NLEP juga dapat meningkatkan privasi knowledge. Karena program NLEP dijalankan secara lokal, knowledge pengguna yang sensitif tidak perlu dikirim ke perusahaan seperti OpenAI atau Google untuk diproses oleh mannequin.

Selain itu, NLEP dapat memungkinkan mannequin bahasa kecil berkinerja lebih baik tanpa perlu melatih ulang mannequin untuk tugas tertentu, yang dapat menjadi proses yang mahal.

“Tidak ada keajaiban di sini. Kami tidak memiliki mannequin bahasa yang lebih mahal atau mewah. Yang kami lakukan hanyalah menggunakan pembuatan program alih-alih pembuatan bahasa alami, dan kami dapat membuatnya bekerja jauh lebih baik,” kata Luo.

Akan tetapi, NLEP bergantung pada kemampuan pembuatan program mannequin, sehingga teknik ini tidak berfungsi dengan baik untuk mannequin yang lebih kecil yang telah dilatih pada kumpulan knowledge terbatas. Di masa mendatang, para peneliti berencana untuk mempelajari metode yang dapat membuat mannequin bahasa yang lebih kecil menghasilkan NLEP yang lebih efektif. Selain itu, mereka ingin menyelidiki dampak variasi immediate pada NLEP untuk meningkatkan ketahanan proses penalaran mannequin.

Referensi: “Program Tertanam Bahasa Alami untuk Penalaran Simbolik Bahasa Hibrida” oleh Tianhua Zhang, Jiaxin Ge, Hongyin Luo, Yung-Sung Chuang, Mingye Gao, Yuan Gong, Xixin Wu, Yoon Kim, Helen Meng dan James Glass, 29 Maret 2024, Ilmu Komputer > Komputasi dan Bahasa.
arXiv:2309.10814

Penelitian ini didukung sebagian oleh Pusat Kecerdasan Persepsi dan Interaktif Hong Kong.