تاکید سنگاپور بر تدوین چارچوب‌های امنیت هوش مصنوعی با مشارکت دولت، صنعت و دانشگاه

گزارشی با عنوان «ایمن‌سازی هوش مصنوعی؛ مسئولیتی جمعی» بر ضرورت همکاری دولت‌ها، شرکت‌های فناوری، پژوهشگران و نهادهای دانشگاهی برای مقابله با تهدیدهای امنیتی سامانه‌های هوش مصنوعی تأکید می‌کند. این گزارش چهار محور حکمرانی، توسعه توانمندی‌های فنی، تحقیق و توسعه و تربیت نیروی متخصص را برای پیشبرد امنیت هوش مصنوعی پیشنهاد می‌دهد.

به گزارش افتانا ، آژانس امنیت سایبری سنگاپور (CSA) با همکاری شرکت Resaro گزارشی با عنوان Securing AI: A Collective Responsibility منتشر کرده است که در آن، مخاطرات امنیتی هوش مصنوعی و تفاوت‌های آن با امنیت سایبری سنتی بررسی شده است. این گزارش با اشاره به گسترش استفاده از هوش مصنوعی مولد و سایر سامانه‌های هوشمند، هشدار می‌دهد که این فناوری‌ها علاوه بر گسترش سطح حمله، آسیب‌پذیری‌های جدیدی نیز ایجاد می‌کنند که مقابله با آن‌ها به همکاری مجموعه بازیگران اکوسیستم هوش مصنوعی نیاز دارد.

تفاوت امنیت هوش مصنوعی با ایمنی آن این گزارش میان دو مفهوم «ایمنی هوش مصنوعی» (AI Safety) و «امنیت هوش مصنوعی» (AI Security) تمایز قائل می‌شود. ایمنی به کاهش آسیب‌ها و پیامدهای منفی سامانه‌های هوش مصنوعی، از جمله تبعیض، تولید محتوای جعلی و انتشار اطلاعات نادرست، مربوط است. در مقابل، امنیت بر حفاظت از محرمانگی، یکپارچگی و دسترس‌پذیری سامانه‌های هوش مصنوعی تمرکز دارد.

بر اساس گزارش، حملات خصمانه می‌توانند به افشای داده‌ها، تغییر رفتار مدل‌ها، دسترسی غیرمجاز به زیرساخت‌های پشتیبان یا اختلال در عملکرد سامانه‌ها منجر شوند. همچنین وابستگی گسترده سازمان‌ها به تعداد محدودی از مدل‌ها و سامانه‌های هوش مصنوعی می‌تواند در صورت بروز اختلال، پیامدهایی فراتر از یک سازمان داشته باشد.

پنج حوزه اصلی تهدید امنیتی گزارش پنج دسته از مخاطرات امنیتی هوش مصنوعی را برجسته می‌کند: نقض محرمانگی، خدشه به یکپارچگی، اختلال در دسترس‌پذیری و تاب‌آوری، حملات زنجیره تأمین و حملات تزریق دستور.

در حوزه محرمانگی، مهاجمان ممکن است با بهره‌گیری از حملات استنتاجی یا معکوس‌سازی مدل، اطلاعات حساس یا داده‌های آموزشی را استخراج کنند. در حوزه یکپارچگی، مسموم‌سازی داده‌های آموزشی و برچسب‌گذاری نادرست می‌تواند رفتار و خروجی مدل را تغییر دهد.

از سوی دیگر، حملات زنجیره تأمین ممکن است از طریق مدل‌های ازپیش‌آموزش‌دیده آسیب‌پذیر، مؤلفه‌های میان‌افزاری آلوده یا تغییرات مخرب در مدل‌ها انجام شوند. حملات تزریق دستور (Prompt Injection) و دور زدن محدودیت‌های مدل نیز می‌توانند سامانه‌های مبتنی بر هوش مصنوعی مولد را به اجرای رفتارهای ناخواسته سوق دهند.

گزارش همچنین به نمونه‌هایی از سوءاستفاده از قابلیت‌های هوش مصنوعی اشاره می‌کند؛ از جمله توصیه وب‌سایت‌های مخرب در پاسخ‌های تولیدشده توسط موتور جست‌وجو، حملات تزریق دستور علیه دستیارهای ایمیلی و حملاتی که با تحریک مدل به ایجاد درخواست‌های مکرر، منابع محاسباتی را مصرف می‌کنند.

چرا ابزارهای امنیتی سنتی کافی نیستند؟

به گفته تهیه‌کنندگان گزارش، سامانه‌های هوش مصنوعی در مقایسه با نرم‌افزارهای متعارف، ویژگی‌هایی دارند که ارزیابی و ایمن‌سازی آن‌ها را پیچیده‌تر می‌کند. مدل‌های مولد ماهیتی احتمالاتی و تطبیقی دارند، از مجموعه‌داده‌های بزرگ و متنوع استفاده می‌کنند و ممکن است در شرایط مختلف، خروجی‌های متفاوتی ارائه دهند.

پیچیدگی معماری مدل‌ها و محدودیت توضیح‌پذیری نیز باعث می‌شود یک روش آزمون یا اعتبارسنجی به‌تنهایی نتواند امنیت یک سامانه را به‌طور کامل تضمین کند. به همین دلیل، گزارش بر پایش چندلایه، شناسایی ناهنجاری‌ها، آزمون مستمر، مدل‌سازی سناریوهای تهدید، آزمون نفوذ و تیم قرمز تأکید دارد.

همچنین از آنجا که مدل‌ها و مجموعه‌داده‌ها ممکن است در طول چرخه عمر سامانه به‌روزرسانی شوند، کنترل امنیتی نباید به مرحله توسعه محدود بماند. نظارت مستمر و ایمن‌سازی فرایندهای به‌روزرسانی و یادگیری نیز ضروری است.

مسئولیت امنیت در سراسر زنجیره ارزش هوش مصنوعی گزارش، امنیت هوش مصنوعی را مسئولیتی مشترک میان توسعه‌دهندگان مدل‌های پایه، عرضه‌کنندگان محصولات هوش مصنوعی، سازمان‌های خریدار و بهره‌بردار، تیم‌های توسعه داخلی، کاربران نهایی، پژوهشگران و ارائه‌دهندگان خدمات ارزیابی امنیت می‌داند.

بر این اساس، توسعه‌دهندگان و عرضه‌کنندگان باید اصول «امنیت از مرحله طراحی» (Secure by Design) و «امنیت به‌صورت پیش‌فرض» (Secure by Default) را در محصولات خود رعایت کنند. سازمان‌های استفاده‌کننده نیز باید پیش از خرید و استقرار، ارزیابی ریسک انجام دهند و از تناسب محصولات با الزامات امنیتی خود اطمینان حاصل کنند.

تیم‌های امنیت اطلاعات مسئول شناسایی ریسک‌های فنی و مدیریتی و اجرای کنترل‌های حفاظتی هستند. در سطح اکوسیستم نیز پژوهشگران و ارزیابان مستقل می‌توانند با شناسایی آسیب‌پذیری‌ها، آزمون مدل‌ها و توسعه روش‌های دفاعی به ارتقای امنیت کمک کنند. نهادهای قانون‌گذار و تدوین‌کنندگان استاندارد نیز باید چارچوب‌هایی برای افزایش سطح پایه امنیت و تاب‌آوری ایجاد کنند.

چهار محور پیشنهادی برای توسعه امنیت هوش مصنوعی در بخش پایانی، گزارش چهار محور را برای پیشبرد امنیت هوش مصنوعی پیشنهاد می‌کند:

تدوین چارچوب‌های عملی برای مدیریت ریسک‌های امنیتی، تعیین مسئولیت‌ها و ادغام الزامات امنیتی در فرایند توسعه و استقرار هوش مصنوعی.

توسعه توانمندی‌های اکوسیستم :

ایجاد ابزارها و خدمات فنی، ارتقای توان سازمان‌ها برای ارزیابی محصولات و گسترش خدمات مستقل آزمون و اطمینان‌بخشی امنیتی.

سرمایه‌گذاری در شناسایی بردارهای حمله جدید، بررسی آسیب‌پذیری‌های مدل‌ها و توسعه روش‌های دفاعی متناسب با تحول فناوری.

توسعه استعداد و نیروی کار :

آموزش متخصصانی که هم دانش هوش مصنوعی و هم مهارت‌های امنیت سایبری داشته باشند و بتوانند کنترل‌های حفاظتی را در سراسر چرخه عمر سامانه اجرا کنند.

گزارش تأکید می‌کند که همکاری بین‌المللی نیز برای تبادل دانش، اشتراک‌گذاری منابع و بهترین رویه‌ها و هماهنگ‌سازی استانداردهای امنیت هوش مصنوعی ضروری است. از دید تهیه‌کنندگان، با گسترش استفاده از هوش مصنوعی در فرایندهای حیاتی سازمان‌ها، مقابله مؤثر با تهدیدها بدون مشارکت هماهنگ دولت، صنعت، دانشگاه و جامعه متخصصان امکان‌پذیر نخواهد بود.

متن کامل گزارش Securing AI: A Collective Responsibility در بالای همین خبر قابل دریافت است.