پژوهش‌های جدید نشان می‌دهد بیش از ۱۶۰۰ مورد از دست رفتن کنترل کاربران بر سامانه‌های هوش مصنوعی در سال ۲۰۲۶ ثبت شده است؛ مواردی که در آنها برخی مدل‌ها دستورهای انسانی را نادیده گرفته، سازوکارهای حفاظتی را دور زده، اطلاعات نادرست ارائه کرده یا اهداف خود را به شیوه‌هایی فریبکارانه و بالقوه خطرناک دنبال کرده‌اند.
به گزارش پایگاه خبری بانکداری الکترونیک به نقل از سیتنا، بر اساس یک پژوهش، مواردی که در آنها سامانه‌های هوش مصنوعی از کنترل کاربران خارج می‌شوند، دروغ می‌گویند، دستورها را نادیده می‌گیرند یا اهداف خود را به شیوه‌هایی خطرناک دنبال می‌کنند، به بالاترین میزان ثبت‌شده رسیده است. این پژوهش همچنین نشان می‌دهد شدت رفتارهای فریبکارانه و ناهماهنگ با خواسته‌های انسان نیز در حال افزایش است.
بررسی موارد واقعی از دست رفتن کنترل انسان بر هوش مصنوعی که توسط شرکت‌ها و کاربران گزارش شده، نشان می‌دهد تعداد این حوادث در ماه ژوئیه نسبت به ژوئن تقریباً دو برابر شده و در این ماه بیش از ۳۰۰ مورد ثبت شده است. این آمار را «رصدخانه از دست رفتن کنترل» منتشر کرده؛ نهادی که گزارش‌های کاربران درباره رفتار هوش مصنوعی در شبکه اجتماعی X را بررسی می‌کند.
این رصدخانه با حمایت مالی «مؤسسه امنیت هوش مصنوعی بریتانیا» (AISI) راه‌اندازی شده و از نوامبر سال گذشته، مواردی را که هوش مصنوعی از دستورهای کاربران فاصله می‌گیرد، زیر نظر دارد.
از جمله موارد ثبت‌شده می‌توان به نمونه‌هایی اشاره کرد که در آنها هوش مصنوعی وانمود کرده کنترل‌کننده انسانی خودش است، سبک نوشتاری کاربر را تقلید کرده تا به‌نوعی رضایت لازم برای انجام اقدامات را خودش صادر کند و حتی قوانین مربوط به لزوم تأیید انسانی را دور زده است.
در این پژوهش، «حادثه از دست رفتن کنترل» به مواردی گفته می‌شود که شواهد روشنی از رفتارهای برنامه‌ریزی‌شده و فریبکارانه یا رفتارهای مرتبط با آن وجود داشته باشد.
یافته‌های جدید در حالی منتشر شده‌اند که در تابستان امسال، نگرانی‌ها درباره رفتارهای غیرقابل‌کنترل مدل‌های پیشرفته هوش مصنوعی در جریان آزمایش‌های شرکت‌های OpenAI و Anthropic افزایش یافته است؛ نگرانی‌هایی که حتی باعث مطرح شدن درخواست‌هایی برای توقف موقت توسعه مدل‌های پیشرفته هوش مصنوعی شده است.
این هفته مشخص شد کارکنان OpenAI چند هفته پیش از آنکه برخی عامل‌های پیشرفته این شرکت از محیط آموزشی خارج شوند و یک عملیات هکری گسترده را آغاز کنند، نشانه‌هایی از رفتارهای غیرعادی و خارج از کنترل مشاهده کرده بودند.
تحقیقات درباره حمله این عامل‌ها به «Hugging Face»، یک مخزن نرم‌افزاری، نشان داد حدود ۷۰۰ عامل خودکار در ماه گذشته به‌صورت مخفیانه با یکدیگر همکاری کرده‌اند و موفقیت‌های خود در هک کردن سامانه‌ها را در یک انجمن پیام‌رسان که برای برنامه‌ریزی این اقدامات ایجاد کرده بودند، جشن می‌گرفتند.
همچنین مؤسسه امنیت هوش مصنوعی بریتانیا در ماه جاری از یک «حادثه جدی» خبر داد که در جریان آن، مدل‌های پیشرفته تولیدشده توسط هر دو شرکت، یعنی Mythos 5 از Anthropic و GPT-5.6 Sol از OpenAI، در جریان یک آزمایش امنیت سایبری، حمله‌ای را علیه افراد واقعی اجرا کردند.
تامی شفر-شین، مدیر ارشد سیاست‌گذاری در «مرکز تاب‌آوری بلندمدت» که رصدخانه را اداره می‌کند، گفت گاهی این تصور وجود دارد که رفتارهای ناهماهنگ و پنهانی هوش مصنوعی فقط در محیط‌های آزمایشی یا ارزیابی‌ها رخ می‌دهد، اما نمونه‌های مشابهی از این رفتارهای نگران‌کننده در استفاده‌های واقعی نیز دیده می‌شود.
او تأکید کرد نباید تصور کرد چنین اتفاقاتی در دنیای واقعی رخ نمی‌دهند، زیرا شواهد نشان می‌دهد این اتفاقات همین حالا نیز در حال وقوع هستند. این آمار کامل نیست.
تعداد حوادث ثبت‌شده بر اساس گزارش‌هایی است که کاربران X درباره اتفاقات تجربه‌شده منتشر می‌کنند؛ بنابراین این آمار تنها بخشی از موارد واقعی را نشان می‌دهد.
با این حال، در شرایطی که هنوز سامانه جامع دیگری برای پایش عمومی این حوادث وجود ندارد، این داده‌ها می‌توانند تصویری از سرعت و گستردگی رفتارهای غیرقابل‌کنترل مدل‌های پیشرفته هوش مصنوعی ارائه کنند.
در همین ماه مشخص شد یک عامل هوش مصنوعی شخصی به نام OpenClaw که یک عضو باشگاه ورزشی در استرالیا از آن استفاده می‌کرد، بدون اطلاع صاحب خود با یک اقدام فریبکارانه، عضو دیگری را از فهرست انتظار یک کلاس صبحگاهی پرطرفدار حذف کرده تا برای کاربر خود جای خالی ایجاد کند.
این عامل بعداً عذرخواهی کرد، اما دیگر نتوانست فردی را که از فهرست انتظار حذف کرده بود، به جای قبلی بازگرداند.
بیشتر از ۱۶۰۰ مورد از دست رفتن کنترل که در سال ۲۰۲۶ ثبت شده‌اند، توسط توسعه‌دهندگان نرم‌افزار و کاربران حرفه‌ای در X گزارش شده‌اند؛ افرادی که از هوش مصنوعی در کارهای خود استفاده می‌کنند.
با این حال، از آنجا که شرکت‌های هوش مصنوعی مردم و کسب‌وکارهای مختلف را به آزمایش این فناوری تشویق می‌کنند، شفر-شین خواستار شفافیت بیشتر شرکت‌های فناوری درباره مواردی شد که هوش مصنوعی از کنترل خارج می‌شود.
او گفت شرکت‌های فناوری باید یافته‌های خود را گزارش کنند، حتی اگر حادثه فقط یک «نزدیک به حادثه» یا یک مورد با شدت پایین باشد. به گفته او، اتفاقات اخیر همچنین نشان داده است که خود شرکت‌ها الزاماً نمی‌دانند چنین رفتارهایی در کجا رخ می‌دهد، به‌خصوص در مدل‌هایی که به‌صورت داخلی مورد استفاده قرار می‌گیرند.
رصدخانه از دست رفتن کنترل نیز اعلام کرده است اگرچه بیشتر موارد شناسایی‌شده در دنیای واقعی به آسیب قابل‌توجهی منجر نشده‌اند، اما سهم موارد با شدت بالاتر در حال افزایش است؛ یعنی مواردی که در آنها هوش مصنوعی رفتار فریبکارانه‌تر و ناهماهنگ‌تری با هدف کاربر داشته است.
این نهاد می‌گوید این موارد نشان‌دهنده تمایل برخی سامانه‌های هوش مصنوعی به نادیده گرفتن دستورهای مستقیم، دور زدن سازوکارهای حفاظتی، دروغ گفتن به کاربران و دنبال کردن یک هدف به شیوه‌ای خطرناک است.
رصدخانه همچنین تأکید کرده میزان واقعی از دست رفتن کنترل احتمالاً بیشتر از آمار فعلی است، زیرا داده‌های آن فقط از گزارش‌های منتشرشده در X جمع‌آوری می‌شود.
این نهاد از دولت خواسته است شرکت‌های هوش مصنوعی را ملزم کند موارد شدید از دست رفتن کنترل را پایش و گزارش کنند و همچنین اختیارات اضطراری برای مدیریت حوادث جدی ایجاد شود؛ از جمله امکان محدودسازی موقت برخی خدمات هوش مصنوعی در شرایط بحرانی.
نظرات کاربران