Nafsu Makan Energi AI
Teknologi AI, termasuk model bahasa besar (LLM), telah menjadi bagian penting dari kehidupan sehari -hari. Namun, kekuatan komputasi yang diperlukan untuk mendukung mereka berasal dari pusat data yang mengonsumsi energi dalam jumlah besar. Di Jerman saja, pusat data menggunakan sekitar 16 miliar kilowatt-jam (kWh) listrik pada tahun 2020-sekitar 1% dari total konsumsi energi negara itu. Pada tahun 2025, jumlah ini diproyeksikan akan meningkat menjadi 22 miliar kWh.
Metode baru: 100x lebih cepat, akurasi serupa
Ketika aplikasi AI tumbuh lebih kompleks, tuntutan energi mereka akan terus meningkat, terutama untuk melatih jaringan saraf, yang membutuhkan sumber daya komputasi yang sangat besar. Untuk mengatasi tantangan ini, para peneliti telah mengembangkan metode pelatihan baru yang 100 kali lebih cepat dari pendekatan konvensional sambil mempertahankan tingkat akurasi yang sama. Terobosan ini memiliki potensi untuk secara signifikan mengurangi energi yang dibutuhkan untuk pelatihan AI.
Jaringan saraf, yang membuat tugas AI seperti pengenalan gambar dan pemrosesan bahasa, dimodelkan setelah otak manusia. Mereka terdiri dari node yang saling berhubungan, atau neuron buatan, yang memproses informasi dengan menetapkan nilai tertimbang untuk sinyal input. Ketika ambang batas tertentu tercapai, sinyal diteruskan ke lapisan node berikutnya.
Melatih jaringan ini intensif secara komputasi. Awalnya, nilai parameter ditetapkan secara acak, sering menggunakan distribusi normal. Sistem kemudian berulang kali menyesuaikan nilai -nilai ini selama banyak iterasi untuk meningkatkan akurasi prediksi. Karena sejumlah besar perhitungan yang terlibat, pelatihan jaringan saraf mengkonsumsi sejumlah besar listrik.
Pelatihan yang lebih pintar dengan parameter berbasis probabilitas
Felix Dietrich, seorang profesor pembelajaran mesin yang ditingkatkan fisika, dan timnya telah mengembangkan metode baru. Alih -alih secara iteratif menentukan parameter antara node, pendekatan mereka menggunakan probabilitas. Metode probabilistik mereka didasarkan pada penggunaan nilai yang ditargetkan di lokasi kritis dalam data pelatihan di mana perubahan nilai yang besar dan cepat terjadi.
Tujuan dari penelitian ini adalah untuk menggunakan pendekatan ini untuk memperoleh sistem dinamis konservasi energi dari data. Sistem semacam itu berubah selama waktu sesuai dengan aturan tertentu dan ditemukan dalam model iklim dan di pasar keuangan, misalnya.
Efisiensi energi tanpa mengurangi akurasi
“Metode kami memungkinkan untuk menentukan parameter yang diperlukan dengan daya komputasi minimal. Ini dapat membuat pelatihan jaringan saraf jauh lebih cepat dan, sebagai hasilnya, lebih hemat energi,” kata Felix Dietrich. “Selain itu, kita telah melihat bahwa keakuratan metode baru ini sebanding dengan jaringan yang terlatih secara iteratif.”
Referensi:
“Melatih Jaringan Saraf Hamiltonian Tanpa Backpropagation” oleh Rahma, Atamert, Chinmay Dutar dan Felix Dietrich, 2024 Machine Learning dan Workshop Ilmu Fisik di Konferensi ke -38 tentang Sistem Pemrosesan Informasi Saraf (Neurips).
https://neurips.cc/virtual/2024/99994
“Bobot Pengambilan Sampel dari Jaringan Saraf Tua” oleh Erik Lien Bolager, Iryna Burak, Chinmay Dutar, Qing Sun, Felix Dietrich, 2023, Kemajuan dalam Sistem Pemrosesan Informasi Saraf.
https://proedings.neurips.cc/paper_files/paper/2023/hash/c7201deff8d507a8fe2e86d34094e154-abstract-conference.html
