Kompromi e mail bisnis, yang menggantikan ransomware tahun lalu untuk menjadi organisasi pengancam vektor serangan bermotivasi finansial teratas, cenderung menjadi lebih sulit dilacak. Investigasi baru oleh Irregular Safety menunjukkan penyerang menggunakan AI generatif untuk membuat e mail phishing, termasuk serangan peniruan vendor dari jenis Irregular yang ditandai awal tahun ini oleh aktor yang dijuluki Firebrick Ostrith.
Menurut Irregular, dengan menggunakan ChatGPT dan mannequin bahasa besar lainnya, penyerang dapat membuat missive rekayasa sosial yang tidak dihiasi dengan tanda bahaya seperti masalah pemformatan, sintaksis atipikal, tata bahasa yang salah, tanda baca, ejaan, dan alamat e mail.
Perusahaan menggunakan mannequin AI-nya sendiri untuk menentukan bahwa e mail tertentu yang dikirim ke pelanggannya yang kemudian diidentifikasi sebagai serangan phishing mungkin dihasilkan oleh AI, menurut Dan Shiebler, kepala pembelajaran mesin di Irregular. “Sementara kami masih melakukan analisis lengkap untuk memahami sejauh mana serangan e mail yang dihasilkan oleh AI, Irregular telah melihat peningkatan yang pasti dalam jumlah serangan dengan indikator AI sebagai persentase dari semua serangan, terutama selama beberapa minggu terakhir,” ujarnya. dikatakan.
Lompat ke:
Menggunakan pelanggaran Fb palsu sebagai iming-iming
Taktik baru yang dicatat oleh Irregular melibatkan spoofing pemberitahuan Fb resmi yang memberi tahu goal bahwa mereka “melanggar standar komunitas” dan halaman mereka telah dibatalkan publikasinya. Pengguna kemudian diminta untuk mengklik tautan dan mengajukan banding, yang mengarah ke halaman phishing untuk mengambil kredensial pengguna, memberi penyerang akses ke Halaman Fb goal, atau untuk menjual di internet gelap (Gambar A).
Gambar A
Shiebler mengatakan fakta bahwa teks dalam spoof Fb hampir identik dengan bahasa yang diharapkan dari Meta for Enterprise menunjukkan bahwa penyerang yang kurang canggih akan dapat dengan mudah menghindari jebakan phishing biasa.
“Bahaya AI generatif dalam serangan e mail adalah memungkinkan pelaku ancaman untuk menulis konten yang semakin canggih, sehingga kemungkinan besar goal mereka akan tertipu untuk mengklik tautan atau mengikuti instruksi mereka,” katanya, seraya menambahkan bahwa AI juga bisa. digunakan untuk menciptakan personalisasi yang lebih besar.
“Bayangkan jika pelaku ancaman memasukkan potongan riwayat e mail korban mereka atau konten profil LinkedIn dalam pertanyaan ChatGPT mereka. E-mail akan mulai menunjukkan konteks, bahasa, dan nada khas yang diharapkan korban, membuat e mail BEC semakin menipu, ”katanya.
Terlihat seperti phish tapi mungkin lumba-lumba
Menurut Irregular, komplikasi lain dalam mendeteksi eksploit phishing yang menggunakan AI untuk membuat e mail melibatkan temuan positif palsu. Karena banyak e mail yang sah dibangun dari template menggunakan frase umum, mereka dapat ditandai oleh AI karena kemiripannya dengan apa yang juga akan dihasilkan oleh mannequin AI, kata Shiebler yang mengatakan bahwa analisis memberikan beberapa indikasi bahwa e mail mungkin telah dibuat oleh AI, “Dan kami menggunakan sinyal itu (di antara ribuan lainnya) untuk menentukan niat jahat.”
Kompromi vendor yang dihasilkan AI, penipuan faktur
Contoh tidak regular yang ditemukan dari kompromi e mail bisnis yang dibangun oleh AI generatif untuk menyamar sebagai vendor, berisi faktur yang meminta pembayaran ke portal pembayaran tidak sah.
Dalam satu kasus yang ditandai Irregular, penyerang menyamar sebagai akun karyawan di perusahaan goal dan menggunakannya untuk mengirim e mail palsu ke departemen penggajian untuk memperbarui informasi setoran langsung di file.
Shiebler mencatat bahwa, tidak seperti serangan BEC tradisional, salvo BEC yang dihasilkan AI ditulis secara profesional. “Itu ditulis dengan rasa formalitas yang diharapkan seputar masalah bisnis,” katanya. “Pengacara yang ditiru juga berasal dari firma hukum yang nyata—element yang memberikan e mail rasa legitimasi yang lebih besar dan membuatnya lebih mungkin untuk menipu korbannya,” tambahnya.
Membawa seseorang untuk mengetahuinya: Menggunakan AI untuk menangkap AI
Shiebler mengatakan bahwa mendeteksi penulis AI melibatkan operasi cermin: menjalankan teks e mail yang dihasilkan LLM melalui mesin prediksi AI untuk menganalisis seberapa besar kemungkinan sistem AI akan memilih setiap kata dalam e mail.
Irregular menggunakan mannequin bahasa besar sumber terbuka untuk menganalisis probabilitas bahwa setiap kata dalam e mail dapat diprediksi berdasarkan konteks di sebelah kiri kata. “Jika kata-kata dalam e mail memiliki kemungkinan tinggi secara konsisten (artinya setiap istilah sangat selaras dengan apa yang akan dikatakan oleh mannequin AI, lebih dari pada teks manusia), maka kami mengklasifikasikan e mail tersebut sebagai kemungkinan ditulis oleh AI,” katanya. (Gambar B).
Gambar B
Shiebler memperingatkan bahwa karena ada banyak kasus penggunaan yang sah di mana karyawan menggunakan AI untuk membuat konten e mail, tidaklah pragmatis untuk memblokir semua e mail yang dihasilkan AI karena dicurigai mengandung niat jahat. “Dengan demikian, fakta bahwa sebuah e mail memiliki indikator AI harus digunakan bersamaan dengan banyak sinyal lain untuk menunjukkan niat jahat,” katanya, seraya menambahkan bahwa perusahaan tersebut melakukan validasi lebih lanjut melalui alat pendeteksi AI seperti OpenAI Detector dan GPTZero.
“E-mail yang sah dapat terlihat dibuat oleh AI, seperti pesan template dan terjemahan mesin, membuat sulit untuk menangkap e mail yang dibuat oleh AI yang sah. Ketika sistem kami memutuskan apakah akan memblokir e mail, itu menggabungkan banyak informasi di luar apakah AI mungkin telah menghasilkan e mail menggunakan identitas, perilaku, dan indikator terkait.”
Cara memerangi serangan phishing AI
Laporan Irregular menyarankan organisasi menerapkan solusi berbasis AI yang dapat mendeteksi serangan yang dihasilkan oleh AI yang sangat canggih yang hampir tidak mungkin dibedakan dari e mail yang sah. Mereka juga harus melihat kapan e mail yang dihasilkan AI itu sah versus kapan e mail itu memiliki niat jahat.
“Anggap saja sebagai AI yang baik untuk melawan AI yang buruk,” kata laporan itu. Firma tersebut mengatakan bahwa alat berbasis AI terbaik dapat mendasarkan perilaku regular di seluruh lingkungan e mail — termasuk pola komunikasi, gaya, dan hubungan khusus pengguna yang khas versus hanya mencari indikator kompromi yang khas (dan protean). Karena itu, mereka dapat mendeteksi anomali yang mengindikasikan adanya potensi serangan, tidak peduli apakah anomali tersebut dibuat oleh manusia atau AI.
“Organisasi juga harus mempraktikkan kebersihan keamanan siber yang baik, termasuk menerapkan pelatihan kesadaran keamanan berkelanjutan untuk memastikan karyawan waspada terhadap risiko BEC,” kata Sheibler. “Selain itu, menerapkan taktik seperti manajemen kata sandi dan autentikasi multi-faktor akan memastikan organisasi dapat membatasi kerusakan lebih lanjut jika ada serangan yang berhasil.”
