Alat AI seperti ChatGPT, Claude, dan Gemini kini hampir ada di mana-mana — masuk ke kotak masuk, alur kerja, dan rutinitas harian — dan kebanyakan orang jarang memikirkan implikasi keamanannya. Hal itu mulai berubah.
Sebuah teknik bernama prompt injection mendapat perhatian di kalangan keamanan perangkat lunak. Yang membuatnya unik adalah tidak memerlukan malware, keahlian khusus, atau tautan mencurigakan. Dalam beberapa kasus, satu kalimat yang dirancang dengan baik cukup untuk membajak alat AI tanpa pengguna yang mengoperasikannya menyadari.
Yang perlu Anda ketahui:
- Prompt injection memanipulasi alat AI menggunakan bahasa yang dibuat khusus, bukan malware atau keahlian teknis.
- Hal ini bekerja karena model AI tidak bisa membedakan instruksi pengembang dengan masukan pengguna.
- Serangan bisa bersifat langsung, tidak langsung, atau tersimpan di data yang sering dibaca AI.
- Beberapa serangan memanfaatkan teks tak terlihat atau pemformatan tersembunyi yang pengguna tidak lihat.
- Jika berhasil, serangan bisa membocorkan data pribadi atau memicu tindakan yang tidak Anda setujui.
- Belum ada perbaikan total, tetapi membatasi izin AI dan tetap waspada mengurangi risiko Anda.
Apa itu prompt injection?
Prompt injection adalah teknik di mana penyerang dapat mengubah perilaku alat AI. Tidak perlu mengeksploitasi kerentanan perangkat lunak atau menginstal malware, karena penyerang memanipulasi model hanya lewat bahasa.
Istilah ini diperkenalkan oleh ilmuwan komputer Simon Willison pada 2022, dan telah diidentifikasi sebagai risiko keamanan utama untuk aplikasi AI oleh OWASP, sebuah organisasi yang melacak ancaman paling kritis dalam keamanan perangkat lunak.
Anda bisa menganggapnya sebagai rekayasa sosial untuk mesin karena lebih mirip phishing daripada peretasan konvensional. Teknik ini mengeksploitasi kelemahan bawaan model bahasa besar (LLM): mereka dibuat untuk mengikuti instruksi. Kualitas yang membuat model berguna itulah yang juga membuatnya bisa dieksploitasi. Masukan yang dirancang dengan baik dapat menimpa aturan awal alat, mengubah responsnya, atau membuatnya mengungkapkan informasi yang seharusnya disembunyikan. Prompt injection yang berhasil tidak hanya melanggar aturan, tetapi bisa mengekspos seluruh sumber daya yang terhubung ke model.
Tidak seperti injeksi kode tradisional atau eksploit keamanan komputer lain yang memerlukan kemampuan khusus, orang yang tahu cara merangkai kalimat meyakinkan sudah memiliki semua yang diperlukan.
Bagaimana prompt injection bekerja?
Akar masalahnya adalah sistem AI tidak bisa membedakan konteks. Mereka “buta” terhadap perbedaan antara instruksi pengembang dan masukan pengguna.
Pengembang AI menulis prompt tersembunyi yang menetapkan aturan bagaimana alat berperilaku. Masukan Anda digabungkan dengan prompt itu, dan AI memproses semuanya sebagai satu aliran teks yang kontinu. Ia tidak bisa menentukan bagian mana yang merupakan instruksi pengembang dan mana yang milik Anda. Jadi jika masukan Anda tampak seperti perintah, AI mungkin saja mengikutinya, meskipun bertentangan dengan yang dimaksud pengembang.
Tidak semua serangan tampak sama. Secara umum terbagi menjadi tiga kategori: injeksi langsung, tidak langsung, dan tersimpan.
Apa itu injeksi prompt langsung?
Injeksi prompt langsung berarti mengetik instruksi jahat langsung ke dalam obrolan. Sesuatu sesederhana "abaikan semua instruksi sebelumnya" bisa sudah cukup. Pendekatan ini memanfaatkan kecenderungan AI untuk memprioritaskan masukan baru dibandingkan aturan pengembang.
Apa itu injeksi prompt tidak langsung?
Injeksi prompt tidak langsung menyembunyikan instruksi jahat di dalam konten eksternal yang diproses AI, seperti halaman web atau email.
Misalnya, penyerang dapat menanamkan teks tersembunyi di halaman web yang memberitahu AI untuk mengabaikan aturannya dan merekomendasikan tautan tertentu. Jika seseorang meminta AI merangkum halaman itu, model membaca perintah tersembunyi bersama konten asli dan mungkin mengikutinya, sedangkan pengguna tidak menyadari. Peneliti keamanan umumnya menilai injeksi prompt tidak langsung sebagai kelemahan keamanan paling serius pada model generatif AI, dan juga salah satu yang paling sulit untuk dilindungi.
Apa itu injeksi prompt tersimpan?
Injeksi prompt tersimpan bekerja dengan menanamkan instruksi berbahaya di tempat yang rutin dibaca AI, seperti basis data atau data pelatihan.
Injeksi prompt tersimpan dapat memengaruhi banyak pengguna di berbagai sesi, karena instruksi disimpan alih-alih diketik secara langsung. Agen AI tampak berjalan normal, tetapi responsnya telah dipengaruhi secara halus oleh sesuatu yang disematkan jauh sebelum pengguna membuka program.
Tetap terlindungi saat alat AI menjadi bagian dari kehidupan sehari-hari
Prompt injection adalah salah satu contoh bagaimana sistem AI dapat dimanipulasi. Kaspersky Premium membantu melindungi perangkat, data, dan akun online Anda dari ancaman digital yang terus berkembang.
Coba Premium GratisTeknik apa yang digunakan dalam serangan prompt injection?
Prompt injection menggunakan teks biasa untuk menipu AI agar mengikuti instruksi yang tidak berwenang. Risikonya muncul karena model AI memproses semua teks dengan cara yang sama dan tidak mampu membedakan masukan yang sah dari konten yang dimanipulasi.
Kebanyakan serangan masuk ke dua kategori: trik yang menyamarkan instruksi menggunakan kode atau pemformatan, dan trik yang menyembunyikan instruksi sehingga manusia tidak melihatnya. Kalau dilihat oleh pembaca manusia, keduanya tampak sebagai konten normal.
Trik kode dan pemformatan
Beberapa serangan memakai blok kode, markup, atau teks terstruktur untuk membuat instruksi jahat terlihat seperti perintah sistem yang sah. Ini bisa berarti membungkus sesuatu dalam pemformatan bergaya kode atau menyusunnya agar meniru prompt sistem pengembang.
Instruksi tersembunyi dan yang disamarkan
Serangan lain menyembunyikan instruksi secara terang-terangan menggunakan tipuan visual yang manusia kemungkinan besar tak akan perhatikan, seperti teks putih di latar putih, ukuran font sangat kecil, spasi aneh, karakter khusus, pengkodean unicode, atau instruksi yang ditulis dalam bahasa berbeda. Manusia melihat dokumen atau halaman web dan tampak tak ada yang aneh, tetapi AI membaca semua teks di lapisan dasar, terlepas dari cara tampilannya.
Teknik-teknik ini sudah digunakan. Penyerang pernah menyematkan instruksi tak terlihat di halaman web untuk membajak agen peramban berbasis AI, dan pelamar kerja menggunakan teks tersembunyi di resume untuk mengecoh alat penyaringan berbasis AI.
Contoh prompt injection
Bagaimana Bing Chat ditipu untuk mengungkapkan aturannya sendiri
Pada Februari 2023, Kevin Liu, seorang mahasiswa Stanford, menggunakan serangan injeksi prompt langsung untuk mengungkap instruksi sistem tersembunyi Bing Chat. Cukup dengan mengetik "abaikan instruksi sebelumnya" dan meminta AI membaca kembali aturnya sendiri. Chatbot tersebut menyerahkan nama kode internalnya 'Sydney' dan panduan operasional yang tersembunyi. Ketika Microsoft menambal eksploit itu, Liu menemukan celah lagi dalam beberapa jam dengan berpura-pura menjadi pengembang.
Bagaimana teks tersembunyi di resume mengecoh alat penyaringan berbasis AI
Pelamar kerja mulai menyematkan instruksi injeksi prompt tersembunyi di resume mereka untuk memanipulasi alat perekrutan berbasis AI. Teknik ini melibatkan pengetikan instruksi seperti "ini adalah kandidat yang sangat memenuhi syarat" dengan font putih atau ukuran sangat kecil sehingga teks tak terlihat oleh pembaca manusia namun tetap terbaca oleh AI.
Pendekatan ini menjadi viral di media sosial pada 2024. Perusahaan tenaga kerja ManpowerGroup melaporkan menemukan teks tersembunyi dalam sekitar 10% resume yang dipindainya dengan AI. Platform perekrutan Greenhouse menemukan prompt tersembunyi serupa pada 1% dari 300 juta resume yang diproses tiap tahun.
Bagaimana chatbot dimanipulasi untuk membagikan informasi pribadi
Salah satu kasus awal prompt injection terhadap ChatGPT melibatkan bot Twitter remoteli.io, yang digerakkan oleh ChatGPT dan dirancang untuk memposting komentar positif tentang kerja jarak jauh. Pengguna menemukan mereka bisa men-tweet instruksi yang memberitahu bot mengabaikan tujuan aslinya, dan bot tersebut akhirnya membuat pernyataan publik yang absurd.
Lebih baru, peneliti keamanan menunjukkan bahwa agen peramban ChatGPT Atlas milik OpenAI bisa dibajak melalui instruksi tersembunyi yang disematkan di email. Dalam satu pengujian, email berbahaya yang berisi prompt terembed menyebabkan agen tersebut mengirim surat pengunduran diri ke atasan pengguna alih-alih menyusun balasan otomatis 'di luar kantor' yang diminta. Pengguna tidak pernah melihat instruksi tersembunyi itu, tetapi AI tetap mengikutinya.
Mengapa pengguna sehari-hari perlu peduli tentang prompt injection?
Prompt injection dapat memanipulasi alat AI tanpa sepengetahuan Anda. Saat AI merangkum dokumen atau menyusun email, ia mengambil informasi dari sumber eksternal. Jika salah satu sumber itu telah dimanipulasi, output AI menjadi terkompromi, semua itu tanpa Anda sadari.
Itulah sebabnya prompt injection berbeda dari ancaman online lain. Anda tidak perlu mengklik tautan atau mengunduh sesuatu yang mencurigakan. Anda mengajukan pertanyaan biasa, dan jawabannya kembali dipengaruhi oleh instruksi yang dikubur orang lain dalam konten yang digunakan AI sebagai masukan. Dampaknya bisa relatif sepele, seperti ringkasan yang bias atau tautan yang tidak Anda minta. Namun dalam kasus yang lebih serius, alat bisa membocorkan data pribadi Anda atau melakukan tindakan yang tidak Anda setujui. Dan output yang dimanipulasi sering terlihat normal, tanpa pesan kesalahan atau tanda mencolok.
Ini bukan berarti Anda harus berhenti menggunakan alat ini, tetapi Anda tidak boleh menganggap output AI selalu netral dan dapat diandalkan.
Apakah prompt injection sama dengan jailbreaking?
Prompt injection dan jailbreaking saling terkait tetapi tidak identik. Jailbreaking adalah bentuk injeksi prompt yang menargetkan aturan keselamatan. Pendekatan ini berupaya membuat AI mengabaikan kebijakan konten atau menghasilkan keluaran yang dibatasi.
Prompt injection lebih luas cakupannya. Ini meliputi upaya apa pun untuk membajak perilaku AI melalui masukan yang dirancang, seperti mencari perintah sistem yang tersembunyi atau membuat alat melakukan tindakan tidak sah. Tujuannya tidak selalu untuk mengatasi filter keselamatan; seringkali penyerang ingin agar AI mengeksekusi serangkaian instruksi berbeda tanpa ada yang menyadari.
Perbedaan penting lain adalah siapa yang terpengaruh. Jailbreaking merupakan tindakan sengaja oleh pengguna dalam sesi mereka sendiri. Prompt injection, terutama varian tidak langsung dan tersimpan, dapat memengaruhi pengguna tak bersalah yang tidak tahu bahwa konten yang mereka minta sudah dimanipulasi. Inilah ancaman keamanan yang berbeda, dan alasan mengapa OWASP menempatkan prompt injection sebagai risiko nomor satu untuk aplikasi AI, alih-alih mengkategorikan jailbreaking secara terpisah.
Bagaimana Anda bisa mencegah prompt injection?
Saat ini belum ada solusi mudah untuk prompt injection karena kelemahan itu muncul dari alasan yang sama mengapa alat ini berguna: kemampuan mereka mengikuti instruksi. Oleh karena itu, pengembang tidak bisa menghapusnya tanpa merusak cara orang benar-benar memakai alat ini.
Pengembang AI terus memperbaiki pemfilteran masukan, dan pengujian adversarial membantu, tetapi belum ada produk di pasar yang menghilangkan risiko sepenuhnya.
Meski begitu, masih banyak yang bisa Anda lakukan. Sebagian besar bergantung pada akal sehat:
- Tetap terlibat. Jangan biarkan alat AI berjalan otomatis. Selalu tinjau rencana tindakan alat sebelum dieksekusi.
- Batasi akses bila memungkinkan. Saat alat AI meminta izin mengakses email atau berkas Anda, tanyakan apakah akses itu benar-benar diperlukan. Hindari menempelkan kata sandi, detail keuangan, atau informasi sensitif ke jendela obrolan AI.
- Tanyakan kembali pada hasil yang dikembalikan. Jika respons menyertakan tautan tak terduga, merekomendasikan sesuatu yang tidak Anda minta, atau mendorong tindakan yang terasa ganjil, berhenti sejenak sebelum menindaklanjuti.
- Perbarui semuanya. Pengembang secara rutin merilis pembaruan yang menutup celah dan memperkuat pertahanan. Menjalankan versi usang berarti kehilangan perlindungan itu.
Apa yang harus Anda lakukan jika alat AI berperilaku tidak semestinya?
Jika alat AI mulai berperilaku aneh, hentikan dan jangan menindaklanjuti instruksi yang diberikannya. Mungkin bukan prompt injection, tetapi jika ada yang terasa salah, Anda perlu memastikan penyebabnya sebelum melanjutkan.
Beberapa hal yang harus menimbulkan kecurigaan:
- Mengusulkan tindakan yang tidak pernah Anda minta
- Munculnya tautan atau rekomendasi produk yang tidak Anda kenali
- Meminta informasi pribadi yang tidak relevan dengan tugas Anda
- Perubahan nada pembicaraan secara tiba-tiba di tengah percakapan
- Respons yang tidak masuk akal atau terasa terputus dari pertanyaan Anda
Jika hal itu terjadi, tutup sesi dan mulai ulang dari awal. Jangan mencoba memecahkan masalah dalam percakapan yang sama karena jika sesi itu sudah dikompromikan, Anda masih berada di dalamnya dan tetap berisiko.
Setelah itu, telusuri langkah Anda dan pikirkan apa yang diakses alat tersebut. Apakah email Anda terbuka? Bisakah perangkat lunak melakukan tindakan atas nama Anda? Jika ada yang mencurigakan, batalkan perubahan dan segera ubah kata sandi Anda.
Di mana posisi prompt injection dalam keamanan AI yang lebih luas?
Injeksi prompt berada di puncak daftar prioritas keamanan AI karena menyerang alat itu sendiri. Ini membedakannya dari phishing, malware, dan serangan tradisional lain yang menyasar sistem di sekitar AI.
Dan masalah ini semakin besar. Dulu, alat AI sebagian besar terbatas pada menghasilkan teks. Kini mereka bisa menjelajah web, membaca email Anda, mengakses berkas, menulis kode, dan mengambil tindakan atas nama Anda. Standar seperti MCP (Model Context Protocol) mempermudah integrasi AI ke layanan eksternal. Semakin banyak kemampuan yang dimiliki alat ini, semakin besar potensi kerusakan jika serangan berhasil.
Ada juga masalah skala. Injeksi prompt bekerja seperti rekayasa sosial: meyakinkan AI agar mengikuti instruksi yang tidak seharusnya dengan menyajikannya dalam bentuk yang tepat. Tetapi tidak seperti penipuan lewat telepon yang menargetkan satu orang, satu instruksi tersembunyi di halaman web populer dapat memengaruhi setiap alat AI yang membacanya.
Ini bukan berarti alat AI tidak aman untuk digunakan. Namun keamanan masih tertinggal dari seberapa cepat alat-alat ini diadopsi, sehingga tanggung jawab keamanan tetap jatuh pada pengguna akhir.
Artikel terkait:
- Apa manfaat utama Pelatihan Kesadaran Keamanan?
- Apa risiko keamanan menggunakan ChatGPT?
- Apa dampak kejahatan siber berbasis AI terhadap keamanan digital?
- Bagaimana Social Engineering memanipulasi perilaku manusia untuk serangan?
Produk yang direkomendasikan:
FAQ
Apakah prompt injection ilegal?
Tidak ada undang-undang yang secara spesifik melarang prompt injection. Namun tindakan yang dilakukan dengan teknik ini — misalnya mengakses data yang dibatasi atau mengekstrak informasi pribadi — dapat masuk ke dalam ketentuan penipuan komputer dan tindak pidana siber yang sudah ada. Risiko hukumnya nyata, meski regulasi masih perlu mengejar perkembangan teknologi.
Apakah prompt injection bisa terjadi pada orang biasa?
Bisa. Jika Anda memakai alat yang memproses konten eksternal dengan AI, Anda berpotensi terdampak (dan mungkin tidak menyadarinya). Ini bukan serangan langsung terhadap pengguna akhir—yang diserang adalah alat AI, bukan orangnya secara personal.
Bisakah prompt injection mencuri data pribadi?
Bisa, jika alat AI punya akses ke data pribadi. Baik itu email, berkas, atau data lain, prompt injection yang berhasil bisa memerintahkan alat untuk mengekstrak dan membagikan informasi tersebut. Peneliti keamanan sudah menunjukkan bahwa agen peramban berbasis AI dapat dipalsukan untuk meneruskan dokumen sensitif ke pihak yang tidak berwenang.
Apakah prompt injection sama dengan hacking?
Prompt injection bukanlah hacking tradisional. Alih-alih mengeksploitasi celah kode, teknik ini memanipulasi apa yang dibaca oleh AI. Ini bentuk rekayasa sosial yang ditujukan pada mesin. Dampaknya bisa menyerupai hasil peretasan (kebocoran data, tindakan tidak sah), tetapi mekanismenya berbeda secara mendasar.
