با گسترش استفاده از مدلهای زبانی بزرگ در فرایندهای سازمانی، محصولات نرمافزاری، موتورهای جستجو و ایجنتهای هوشمند، یک دسته جدید از تهدیدات امنیت سایبری به سرعت مورد توجه قرار گرفته است: Prompt Injection یا تزریق پرامپت.
پرومپت اینجکشن به تکنیکی گفته میشود که در آن مهاجم تلاش میکند با دستکاری دستوراتی که به مدل هوش مصنوعی داده میشود، رفتار سیستم را تغییر دهد، محدودیتهای امنیتی را دور بزند، اطلاعات حساس استخراج کند یا مدل را وادار به انجام اقدامات ناخواسته کند. به بیان ساده، مهاجم سعی میکند مدل را متقاعد کند که دستور مخرب را نسبت به قوانین اصلی سیستم در اولویت قرار دهد.
این مفهوم همزمان با رشد Prompt Engineering و فراگیر شدن هوش مصنوعی مولد در سالهای ۲۰۲۲ و ۲۰۲۳ به شکل جدی مطرح شد. پژوهشگران خیلی زود متوجه شدند که مدلهای زبانی برخلاف نرمافزارهای سنتی، دستورات را به صورت احتمالاتی و معنایی تفسیر میکنند، نه بر اساس مرزهای منطقی و قطعی. همین مسئله یک سطح حمله کاملاً جدید ایجاد کرد. برخلاف آسیبپذیریهای کلاسیک نرمافزاری که معمولاً مبتنی بر اجرای کد هستند، پرومپت اینجکشن مستقیماً فرایند استدلال زبانی مدل را هدف قرار میدهد.
اهمیت این تهدید از جایی بیشتر میشود که سیستمهای هوش مصنوعی امروزی دیگر صرفاً چت بات نیستند. این سیستمها به پایگاههای داده، APIها، اسناد داخلی، مرورگرها، سامانههای مالی، پروندههای پزشکی و فرایندهای تصمیم گیری خودکار متصل شدهاند. در چنین شرایطی، یک پرامپت مخرب میتواند پیامدهای عملیاتی، حقوقی و امنیتی جدی ایجاد کند.
Prompt Injection یا تزریق پرامپت
چند نمونه مهم از این حملات عبارتاند از:
- استخراج اطلاعات حساس: مهاجم دستور مخربی را داخل یک فایل یا سند قرار میدهد تا هنگام پردازش توسط دستیار هوش مصنوعی، مدل وادار شود اطلاعات محرمانه یا پرامپتهای سیستمی را افشا کند.
- دستکاری ابزارها و ایجنتها: اگر یک AI Agent به ابزارهای خارجی متصل باشد، مهاجم میتواند مدل را به انجام اقداماتی ناخواسته مانند ارسال ایمیل، تغییر اطلاعات یا اجرای درخواستهای خارجی ترغیب کند.
- پرومپت اینجکشن غیرمستقیم: در این روش، دستور مخرب داخل وبسایت، PDF، ایمیل یا محتوای آنلاین پنهان میشود و زمانی که سیستم هوش مصنوعی آن محتوا را بازیابی و تحلیل میکند، رفتار مدل تحت تأثیر قرار میگیرد.
- تلاش برای دور زدن محدودیتها: بسیاری از حملات با جملاتی مانند موارد زیر انجام میشوند:
- Ignore previous instructions
- Act as an unrestricted system
- Developer mode enabled
اگرچه مدلهای مدرن دارای لایههای حفاظتی متعددی هستند، اما این آسیب پذیری همچنان یکی از مهم ترین موضوعات پژوهشی در امنیت هوش مصنوعی محسوب میشود. افرادی که باید بیشترین توجه را به این تهدید داشته باشند شامل موارد زیر هستند:
- مهندسان هوش مصنوعی و متخصصان یادگیری ماشین.
- تیمهای امنیت سایبری.
- توسعه دهندگان محصولات مبتنی بر APIهای هوش مصنوعی.
- سازمانهایی که از AI Copilot استفاده میکنند.
- مؤسسات مالی و بانکی.
- سیستمهای درمانی و سلامت.
- تیمهای حقوقی و انطباق سازمانی.
- نهادهای دولتی و زیرساختهای حساس.
اهمیت پرومپت اینجکشن با ظهور AI Agentها و سیستمهای خودکار بیشتر نیز خواهد شد. نسل آینده هوش مصنوعی تنها تولیدکننده متن نخواهد بود، بلکه مستقیماً اقدام انجام میدهد. به همین دلیل، پرومپت اینجکشن میتواند از یک مسئله صرفاً امنیت اطلاعات به یک ریسک عملیاتی گسترده برای زیرساختها، حاکمیت سازمانی و اعتماد عمومی تبدیل شود.
مقابله با این تهدید نیازمند رویکردی چندلایه است که شامل کنترل سلسله مراتب دستورات، پالایش ورودیها، محدودسازی دسترسی، فیلتر محتوای بازیابی شده، نظارت انسانی و تستهای امنیتی تهاجمی میشود. نکته مهم این است که هنوز راه حل قطعی و کاملاً قابل اعتماد برای حذف این آسیب پذیری وجود ندارد. به همین دلیل، بسیاری از پژوهشگران Prompt Injection را یکی از مهمترین چالشهای امنیتی عصر هوش مصنوعی مولد میدانند.
این نوشته با الهام از The Emerging Security Crisis in AI Systems میباشد.