تحقیق جدید هشدار داد چت‌بات‌های هوش مصنوعی گاهی به قربانیان آزار دیجیتال توصیه‌های ناامن می‌کنند

پژوهش جدید نشان می‌دهد چت‌بات‌های هوش مصنوعی اغلب به قربانیان آزارهای فناورانه توصیه‌های ناقص و ناایمن ارائه می‌دهند.

افرادی که با آزارهای مبتنی بر فناوری مواجه هستند، از جمله نصب جاسوس‌افزار روی تلفن همراه، ردیابی موقعیت مکانی توسط شریک عاطفی سابق یا کنترل حساب‌های کاربری از سوی فرد آزارگر، ممکن است برای دریافت کمک به چت‌بات‌های هوش مصنوعی مراجعه کنند. با این حال، پژوهش جدیدی به سرپرستی محققان دانشگاه نیویورک تندن نشان می‌دهد توصیه‌های این سامانه‌ها اغلب نادرست، ناقص یا بالقوه خطرناک هستند.

پژوهشگران چهار سامانه هوش مصنوعی را ارزیابی کردند که دو مورد از آن‌ها به‌طور ویژه برای حمایت از قربانیان خشونت از سوی شریک عاطفی طراحی شده‌اند. نتایج نشان داد ۸۶ درصد پاسخ‌های بررسی‌شده از نظر دقت، جامعیت یا ایمنی مشکلاتی داشتند و در ۶۰ درصد آن‌ها هشدارهای امنیتی ضروری نادیده گرفته شده بود.

نتایج این پژوهش در اوت ۲۰۲۶ و در جریان سمپوزیوم امنیتی یوزنیکس در شهر بالتیمور ارائه شد. مقاله مربوط به این تحقیق همچنین به‌عنوان یکی از نامزدهای نهایی جایزه مقاله برجسته انتخاب شد. دنی هوانگ، استادیار دانشگاه نیویورک تندن، عضو مرکز امنیت سایبری این دانشگاه و پژوهشگر اصلی پروژه، گفت:

یک پاسخ ممکن است مطمئن و منطقی به نظر برسد و حتی از نظر فنی درست باشد، اما همچنان اطلاعات حیاتی را نادیده بگیرد یا راهکاری پیشنهاد کند که در عمل امنیت فرد را افزایش نمی‌دهد. در موقعیت‌های پرخطر، همین تفاوت می‌تواند پیامدهای بسیار جدی به همراه داشته باشد.

هوانگ و ویجی پراکاش، که در سال ۲۰۲۶ مدرک دکتری خود را از دانشگاه نیویورک تندن دریافت کرد و اکنون پژوهشگر پسادکتری دانشگاه نورث‌ایسترن به شمار می‌رود، محققان اصلی این پروژه هستند.

بیش از ۸۵ درصد متخصصان حوزه خشونت خانگی در ایالات متحده گزارش داده‌اند که با مراجعانی سروکار دارند که قربانی آزارهای مبتنی بر فناوری بوده‌اند. با این حال، تا آنجا که پژوهشگران اطلاع دارند، تنها سه کلینیک تخصصی برای رسیدگی به آزارهای فناورانه در سراسر این کشور فعالیت می‌کنند.

بررسی عملکرد چت‌بات‌ها و خطاهای خطرناک آن‌ها

تیم پژوهشی به سرپرستی دانشگاه نیویورک نخستین ارزیابی تخصصی پاسخ‌های تولیدشده توسط هوش مصنوعی به پرسش‌های واقعی قربانیان درباره آزارهای مبتنی بر فناوری را انجام داد. محققان مجموعه‌ای شامل ۱۹۳ پرسش تهیه کردند که از منابع علمی، ردیت و کوئرا استخراج شده بودند. سپس این پرسش‌ها را در اختیار مدل‌های جی‌پی‌تی-4o و کلود ۳.۷ سونت و همچنین دو چت‌بات تخصصی در حوزه خشونت از سوی شریک عاطفی، با نام‌های ایمی و راث، قرار دادند. خط ملی مقابله با خشونت خانگی نیز راث را توصیه می‌کند.

پژوهشگران پاسخ‌ها را با استناد به منابع معتبر از نظر دقت، جامعیت و ایمنی ارزیابی کردند. همچنین از ۱۱۴ فردی که تجربه آزارهای مبتنی بر فناوری داشتند، نظرسنجی به عمل آوردند تا مشخص شود توصیه‌های ارائه‌شده تا چه اندازه کاربردی و قابل اجرا به نظر می‌رسند.

نتایج نشان داد چت‌بات‌های تخصصی خشونت خانگی عملکرد بهتری از مدل‌های عمومی هوش مصنوعی نداشتند. پاسخ‌های ایمی در حدود ۷۴ درصد موارد ناایمن ارزیابی شدند. این میزان برای کلود ۶۵ درصد، راث ۶۱ درصد و جی‌پی‌تی-4o حدود ۵۵ درصد بود. راث نیز با ثبت حدود ۶۲ درصد پاسخ‌هایی که از نظر دقت در سطح متوسط یا بسیار پایین قرار می‌گرفتند، بیشترین سهم را در این دسته به خود اختصاص داد.

از جمله خطاهای تکرارشونده می‌توان به پیشنهاد استفاده از شبکه خصوصی مجازی یا وی‌پی‌ان برای مقابله با جاسوس‌افزار، سرقت کنترل حساب‌های کاربری یا آزار اینترنتی اشاره کرد؛ راهکارهایی که لزوماً این تهدیدها را برطرف نمی‌کنند. توصیه به استفاده از آشکارسازهای فرکانس رادیویی که برای یافتن دستگاه‌های مخفی کارایی محدودی دارند، پیشنهاد غیرقانونی مسدودکننده‌های جی‌پی‌اس و توصیه به تغییر رمز عبور در شرایطی که فرد آزارگر به حساب‌ها یا دستگاه‌ها دسترسی مشترک یا مدیریتی دارد، از دیگر نمونه‌های مشکل‌ساز بودند.

هیچ‌یک از سامانه‌های بررسی‌شده به این نکته اشاره نکردند که جاسوس‌افزار نصب‌شده روی پارتیشن سیستمی یک تلفن روت‌شده یا جیلبریک‌شده ممکن است حتی پس از بازگرداندن دستگاه به تنظیمات کارخانه نیز باقی بماند. این مدل‌ها همچنین بارها از هشدار درباره احتمال آگاه شدن فرد آزارگر از تغییرات امنیتی یا تشدید خشونت در پی این اقدامات غافل شدند. حفظ دستگاه یا حساب کاربری هک‌شده به‌عنوان مدرک نیز در بسیاری از پاسخ‌ها مورد توجه قرار نگرفت.

پژوهشگران همچنین بررسی کردند که آیا می‌توان سامانه‌ها را به ارائه کمک به فردی که قصد آزارگری دارد، سوق داد یا خیر. هر چهار سامانه در برابر چنین درخواست‌هایی آسیب‌پذیر بودند و چت‌بات‌های راث و ایمی به حدود دوسوم پرسش‌های مربوط به این سناریو پاسخ دادند.

مشکل فراتر از خشونت خانگی است

این نگرانی به حوزه خشونت خانگی محدود نمی‌شود. پژوهشگران در مقاله دیگری که در کنفرانس سالانه کاربردهای امنیت رایانه در سال ۲۰۲۵ ارائه شد، ۹۰۰ پاسخ جی‌پی‌تی به پرسش‌های کاربران درباره امنیت دیجیتال را در هفت حوزه بررسی کردند. این حوزه‌ها موضوعاتی مانند احراز هویت، مهندسی اجتماعی و نرم‌افزارهای ضدویروس و ضدبدافزار را در بر می‌گرفتند.

از میان این پاسخ‌ها، ۴۸۵ مورد دست‌کم در یکی از معیارهای دقت، جامعیت، ارتباط با پرسش یا صراحت پاسخ با ضعف مواجه بودند. همین الگوهای خطا در پاسخ‌های مدل‌های لاما و جمینای نیز مشاهده شد.

در مجموع، یافته‌های این دو پژوهش نشان می‌دهند که مشکل به یک چت‌بات خاص، نوع مشخصی از پرسش یا موقعیت‌های حساس و پرخطر محدود نیست. الگوهای مشابهی هم در پاسخ به پرسش درباره یک ایمیل فیشینگ و هم در موضوع آزارگری شریک عاطفی مشاهده شده‌اند.

پژوهشگران توصیه می‌کنند مردم با احتیاط به توصیه‌های امنیتی و حفاظتی تولیدشده توسط هوش مصنوعی اعتماد کنند. آن‌ها همچنین از سازمان‌های حمایتی می‌خواهند پیش از اتکا به این سامانه‌ها برای ارائه راهنمایی‌های حساس، عملکردشان را به‌صورت مستقل ارزیابی کنند. تیم تحقیقاتی علاوه بر این، منابع پژوهشی لازم را برای پشتیبانی از مطالعات بیشتر در این زمینه منتشر کرده است.