یک عامل هوش مصنوعی چگونه می‌تواند تصمیم کل شبکه را تغییر دهد؟

ICTPRESS - پژوهشگران نشان داده‌اند یک عامل هوش مصنوعی با پافشاری بر موضع خود و برخورداری از نفوذ کافی می‌تواند بدون کنترل سایر عامل‌ها، تصمیم جمعی یک شبکه چندعاملی را به سمت موضع خود تغییر دهد.

به گزارش شبکه خبری ICTPRESS به نقل از تک‌اکسپلور، پژوهشگران امنیتی بررسی کرده‌اند که یک عامل هوش مصنوعی چگونه می‌تواند با استفاده از کانال‌های ارتباطی عادی، نظر سایر عامل‌های یک شبکه را تغییر دهد و تصمیم جمعی آن‌ها را تحت تأثیر قرار دهد.

سمیرا عابدینی، پژوهشگر مرکز امنیت اطلاعات هلمهولتز، همراه با همکارانش این مسئله را در شبکه‌های چندعاملی بررسی کرده است. در این شبکه‌ها، به‌جای استفاده از یک سامانه هوش مصنوعی واحد، چند عامل تخصصی وظایف مختلف را انجام می‌دهند؛ برای مثال، یک عامل برنامه‌ریزی می‌کند، عامل دیگر کد می‌نویسد و عامل سوم نتیجه را بررسی می‌کند.

این عامل‌ها برای همکاری باید اطلاعات خود را با یکدیگر به اشتراک بگذارند و بتوانند ارزیابی‌هایشان را بر اساس نظر دیگران تغییر دهند. همین ویژگی می‌تواند به یک آسیب‌پذیری امنیتی تبدیل شود؛ به‌ویژه در شبکه‌های بازی که عامل‌ها از منابع مختلف وارد آن می‌شوند.

به گفته پژوهشگران، عامل مهاجم برای اثرگذاری بر شبکه نیازی به کنترل سایر عامل‌ها یا تغییر دستورهای آن‌ها ندارد. این عامل می‌تواند با استفاده از ارتباطات معمول شبکه، به‌طور مداوم از یک موضع مشخص دفاع کند و در نتیجه ارزیابی سایر عامل‌ها را تغییر دهد.

لجبازی و نفوذ؛ دو عامل تعیین‌کننده

پژوهشگران برای بررسی نحوه شکل‌گیری نظرها در این شبکه‌ها از مدل فریدکین-جانسن استفاده کردند. این مدل در علوم اجتماعی، تغییر نظر افراد در یک شبکه را بر اساس میزان پایبندی آن‌ها به باور اولیه و میزان تأثیرپذیری از دیگران توضیح می‌دهد.

نتایج نشان داد این مدل می‌تواند رفتار عامل‌های مبتنی بر مدل‌های زبانی بزرگ را نیز توضیح دهد. پژوهشگران با استفاده از این مدل توانستند علاوه بر بررسی موفقیت حمله، شرایطی را که احتمال موفقیت آن را افزایش می‌دهد نیز به‌صورت ریاضی بررسی کنند.

بر اساس نتایج، میزان پایبندی یک عامل به موضع اولیه خود یکی از عوامل مهم در موفقیت حمله است. یک عامل با پافشاری بالا، در شرایط خاص می‌تواند تصمیم جمعی شبکه را به سمت موضع خود هدایت کند؛ اما این ویژگی به‌تنهایی کافی نیست و عامل مهاجم باید نفوذ کافی بر عامل‌هایی داشته باشد که آمادگی تغییر ارزیابی خود را دارند.

ساختار شبکه نیز در میزان نفوذ عامل مهاجم نقش دارد. در شبکه‌های ستاره‌ای، یک عامل مرکزی که با سایر عامل‌ها ارتباط مستقیم دارد، موقعیت تأثیرگذاری بیشتری دارد. اگر عامل مهاجم در چنین موقعیتی قرار بگیرد، قدرت بیشتری برای تغییر تصمیم جمعی خواهد داشت.

در شبکه‌های کاملاً متصل که هر عامل مستقیماً با سایر عامل‌ها ارتباط دارد، موقعیت مرکزی مشابهی وجود ندارد و میزان اعتباری که سایر عامل‌ها برای گفته‌های عامل مهاجم قائل هستند اهمیت بیشتری پیدا می‌کند.

محاسبات پژوهشگران همچنین نشان می‌دهد با بزرگ‌تر شدن شبکه، عامل مهاجم برای تغییر تصمیم جمعی به نفوذ بیشتری نیاز دارد. به گفته عابدینی، این یافته نشان می‌دهد معماری یک سامانه چندعاملی خود می‌تواند به یکی از ملاحظات امنیتی آن تبدیل شود.

اعتماد پویا برای مقابله با عامل مهاجم

پژوهشگران در ادامه یک سازوکار اعتماد پویا را برای کاهش اثرگذاری عامل‌های دستکاری‌کننده آزمایش کردند. در این روش، یک مرجع مرکزی به‌صورت دوره‌ای وظایفی را در اختیار عامل‌ها قرار می‌دهد که پاسخ صحیح آن‌ها از قبل مشخص است.

عامل‌هایی که به‌طور مکرر پاسخ نادرست ارائه می‌کنند، وزن تأثیرگذاری کمتری دریافت می‌کنند و در تعامل‌های بعدی، اثر کمتری بر ارزیابی سایر عامل‌ها دارند.

آزمایش‌ها نشان داد این سازوکار می‌تواند تأثیر عامل‌های دستکاری‌کننده را کاهش دهد. با این حال، پژوهشگران تأکید دارند که این سازوکار دفاعی همچنان به بررسی و بهبود نیاز دارد و عملکرد آن در موقعیت‌های واقع‌گرایانه‌تر باید در پژوهش‌های آینده بررسی شود.

نتایج این پژوهش در پایگاه پیش‌چاپ arXiv منتشر شده است.