LLM Security
OWASP LLM Top 10
Large Language Model (LLM) security adalah disiplin keamanan siber yang berfokus pada perlindungan sistem berbasis LLM dari ancaman dan kerentanan unik. OWASP (Open Web Application Security Project) telah merilis OWASP LLM Top 10 sebagai referensi utama untuk mengidentifikasi dan memitigasi risiko keamanan pada aplikasi AI/LLM. Berikut adalah sepuluh kategori risiko tersebut beserta penjelasan singkatnya.
LLM01 - Prompt Injection
Prompt Injection terjadi saat penyerang menyisipkan instruksi jahat ke dalam input yang diberikan kepada LLM, sehingga model mengabaikan instruksi asli sistem dan mengikuti perintah dari penyerang. Terdapat dua varian: direct prompt injection (penyerang langsung memberikan instruksi ke model) dan indirect prompt injection (instruksi jahat disisipkan melalui sumber data eksternal seperti dokumen atau email yang diproses model). Dampaknya mencakup eksekusi kode berbahaya, eksfiltrasi data, dan manipulasi output model.
LLM02 - Insecure Output Handling
Risiko ini muncul saat output dari LLM diterima dan dieksekusi oleh sistem hilir tanpa validasi yang memadai. Jika output model mengandung kode berbahaya - misalnya JavaScript, SQL, atau perintah shell - maka dapat menyebabkan Cross-Site Scripting (XSS), Server-Side Request Forgery (SSRF), atau remote code execution. Mitigasi utamanya adalah menerapkan output encoding, sanitasi ketat, dan konteks yang tepat sebelum meneruskan output ke sistem lain.
LLM03 - Training Data Poisoning
Data poisoning terjadi saat penyerang berhasil menyisipkan data berbahaya ke dalam dataset pelatihan model, sehingga memengaruhi perilaku model saat di-deploy. Serangan ini dapat menyebabkan backdoor (model merespons secara berbeda pada input tertentu), bias yang disengaja, atau penurunan kualitas output. Risiko ini sangat berbahaya karena efeknya dapat bertahan lama dan sulit dideteksi setelah model dilatih. Mitigasi meliputi data sanitasi, differentially private training, dan supply chain validation.
LLM04 - Model Denial of Service (DoS)
Serangan DoS pada LLM bertujuan untuk menghabiskan sumber daya komputasi (GPU, memori, bandwidth) dengan mengirimkan input yang sangat panjang, kompleks, atau berulang sehingga model tidak dapat melayani permintaan yang sah. Teknik yang umum digunakan adalah recursive prompt expansion dan context window exhaustion. Akibatnya, sistem menjadi lambat atau tidak responsif, dan biaya operasional melonjak drastis. Mitigasi mencakup rate limiting, input length restriction, dan resource monitoring.
LLM05 - Supply Chain Vulnerabilities
LLM modern sering dibangun di atas komponen open-source, dataset publik, dan fine-tuning dari model pihak ketiga. Kerentanan pada rantai pasokan ini - seperti komponen dengan CVE yang diketahui, model poisoning dari repositori tidak tepercaya, atau dependency confusion - dapat membahayakan keamanan seluruh sistem. Praktik terbaik meliputi software bill of materials (SBOM) untuk model, verifikasi integritas komponen, dan pembatasan sumber dataset yang digunakan.
LLM06 - Sensitive Information Disclosure
LLM dapat secara tidak sengaja mengungkap informasi sensitif yang ada dalam data pelatihan atau konteks percakapan. Ini mencakup data pribadi (PII) seperti nama, alamat, dan email, credential seperti token API, atau informasi bisnis rahasia. Model juga rentan terhadap serangan membership inference yang menentukan apakah data tertentu digunakan dalam pelatihan. Mitigasi meliputi data redaction, differential privacy, sanitasi output, dan pembatasan akses model ke informasi sensitif.
LLM07 - Insecure Plugin Design
Plugin dan ekstensi yang terhubung dengan LLM sering kali memiliki hak akses yang luas tanpa kontrol yang memadai. Kerentanan umum meliputi excessive privileges (plugin memiliki akses lebih dari yang dibutuhkan), trust boundary violation (plugin dipercaya sepenuhnya oleh sistem utama), dan lack of input validation pada data yang dikirim plugin ke model. Prinsip least privilege sangat penting dalam mendesain plugin LLM.
LLM08 - Excessive Agency
Excessive agency terjadi ketika sistem LLM diberikan terlalu banyak wewenang otonom untuk mengambil tindakan - seperti mengeksekusi perintah sistem, mengirim email, atau mengakses database. Jika model salah memahami instruksi atau disusupi, dampaknya bisa sangat luas. Mitigasi utama adalah human-in-the-loop untuk tindakan kritis, permission scoping, dan confirmation gate sebelum eksekusi tindakan berisiko tinggi.
LLM09 - Overreliance
Overreliance adalah risiko saat pengguna terlalu bergantung pada output LLM tanpa verifikasi yang memadai, terutama untuk keputusan penting yang memengaruhi keselamatan, keuangan, atau keamanan. Model dapat menghasilkan hallucination atau informasi yang salah dengan keyakinan tinggi. Pengguna harus selalu memverifikasi informasi kritis dari sumber independen, dan sistem harus menampilkan confidence score atau disclaimer yang sesuai.
LLM10 - Model Theft
Model theft adalah upaya penyerang mencuri atau mereplikasi model LLM secara ilegal - baik melalui model stealing via API (mengekstrak parameter model dengan query berulang), side-channel attacks, atau akses langsung ke repositori model. Dampaknya mencakup kehilangan kekayaan intelektual dan keunggulan kompetitif. Mitigasi meliputi API rate limiting, watermarking pada model, access control ketat, dan model encryption.
Kesimpulan
OWASP LLM Top 10 memberikan kerangka kerja yang komprehensif untuk memahami dan memitigasi risiko keamanan pada aplikasi berbasis LLM. Setiap organisasi yang mengadopsi AI/LLM harus mengintegrasikan prinsip-prinsip ini ke dalam siklus pengembangan dan operasional mereka. Keamanan AI bukan hanya tanggung jawab tim keamanan, tetapi juga membutuhkan kolaborasi antara engineer, data scientist, dan manajemen untuk menciptakan sistem AI yang aman, andal, dan bertanggung jawab.