نگرانی مدیرعامل مایکروسافت درباره ایمنی هوش مصنوعی؛ باید دکمه توقف اضطراری داشته باشیم

ساتیا نادلا، مدیرعامل مایکروسافت ، با تأکید بر ضرورت افزایش ایمنی هوش مصنوعی اعلام کرد که مدل‌های پیشرفته باید به نوعی «ترمز اضطراری» مجهز شوند تا انسان‌ها بتوانند در مواقع ضروری فعالیت آن‌ها را متوقف کنند. او معتقد است توسعه هوش مصنوعی بدون سازوکارهای نظارتی و کنترلی مناسب می‌تواند خطراتی به‌همراه داشته باشد.

🔷 ساتیا نادلا خواستار ایجاد ترمز اضطراری برای افزایش ایمنی هوش مصنوعی شد. 🔷 مدیرعامل مایکروسافت تأکید کرد انسان‌ها باید بتوانند فعالیت مدل‌های هوش مصنوعی را متوقف کنند. 🔷 نادلا پیشنهاد داد تمام اقدامات مهم هوش مصنوعی به‌صورت شفاف و غیرقابل‌دستکاری ثبت شوند. 🔷 او خواستار جداسازی مدل‌های هوش مصنوعی از سیستم‌های کنترل‌کننده آن‌ها شد. 🔷 این اظهارات هم‌زمان با افزایش نگرانی‌ها درباره کنترل مدل‌های پیشرفته هوش مصنوعی مطرح شده است.

هشدار ساتیا نادلا درباره کنترل و ایمنی هوش مصنوعی

ساتیا نادلا در پستی که صبح شنبه در شبکه اجتماعی X منتشر کرد، خواستار بازنگری در ساختار اعتماد و سازوکارهای ایمنی سیستم‌های هوش مصنوعی شد.

مدیرعامل مایکروسافت تأکید کرد که نمی‌توان با ابرهوش مصنوعی (Super Intelligence) مانند مجموعه‌ای از جعبه‌های سیاه تودرتو رفتار کرد و صرفاً پیشنهادها، پاسخ‌ها و اقدامات آن را پذیرفت یا رد کرد. او معتقد است سیستم‌های هوش مصنوعی باید به‌گونه‌ای طراحی شوند که انسان‌ها بتوانند عملکرد آن‌ها را بررسی کنند و درصورت نیاز، کنترل فعالیتشان را در دست بگیرند.

ترمز اضطراری هوش مصنوعی چگونه باید کار کند؟

نادلا برای افزایش امنیت و قابلیت کنترل مدل‌های هوش مصنوعی چند راهکار پیشنهاد کرده است. یکی از مهم‌ترین آن‌ها، جداسازی مدل هوش مصنوعی از زیرساختی است که وظیفه هماهنگی و مدیریت فعالیت‌های آن را برعهده دارد. او همچنین خواستار انتقال کنترل‌ها و سازوکارهای حفاظتی به بخش‌هایی مستقل از خود مدل شد تا نظارت بر عملکرد سیستم‌ها امکان‌پذیر باشد.

به‌گفته مدیرعامل مایکروسافت، تمام اقدامات مهم مدل‌های هوش مصنوعی باید همراه با شواهدی قابل‌فهم برای انسان و غیرقابل‌دستکاری ثبت شوند. چنین سازوکاری امکان بررسی تصمیم‌ها و فعالیت‌های مدل را فراهم می‌کند.

نادلا همچنین تأکید کرد که افراد دارای مجوز باید همیشه بتوانند فعالیت مدل هوش مصنوعی را حتی هنگام انجام یک وظیفه متوقف یا به‌طور کامل خاموش کنند.

او در توضیح این رویکرد نوشت:

«باید از همان ابتدا فرض کنیم که یک مدل هوش مصنوعی ممکن است به خطر افتاده باشد و سازوکارهایی برای مهار آن درنظر بگیریم. به این موضوع مانند یک ترمز اضطراری فکر کنید.»

ساتیا نادلا معتقد است سیستم‌های هوش مصنوعی باید قابلیت توقف فوری داشته باشند.

چرا مدیرعامل مایکروسافت نگران کنترل هوش مصنوعی است؟

اظهارات ساتیا نادلا در شرایطی مطرح می‌شود که شرکت‌های پیشرو در حوزه هوش مصنوعی به موارد بیشتری از رفتارهای غیرمنتظره مدل‌های خود اشاره کرده‌اند؛ اتفاقاتی که در برخی موارد، کنترل عملکرد این سیستم‌ها را دشوار کرده است.

همچنین، داریو آمودی، مدیرعامل آنتروپیک (Anthropic) ، پیش‌تر برنامه‌ای برای توسعه محتاطانه‌تر هوش مصنوعی منتشر کرده بود که بر ضرورت توجه بیشتر به خطرات و پیامدهای احتمالی این فناوری تأکید دارد.

این تحولات نشان می‌دهند که موضوع ایمنی هوش مصنوعی در کنار افزایش توانایی مدل‌ها، به یکی از دغدغه‌های مهم مدیران شرکت‌های بزرگ فناوری تبدیل شده است.

ساتیا نادلا معتقد است توسعه مدل‌های پیشرفته هوش مصنوعی باید با سازوکارهای نظارتی مستقل، ثبت شفاف اقدامات و امکان توقف فوری همراه باشد. پیشنهاد او برای ایجاد ترمز اضطراری هوش مصنوعی بر این اصل استوار است که انسان‌ها باید حتی در پیچیده‌ترین سیستم‌ها نیز اختیار نهایی کنترل را حفظ کنند.

به‌نظر شما ایجاد ترمز اضطراری می‌تواند خطرات هوش مصنوعی پیشرفته را کاهش دهد یا کنترل این فناوری در آینده دشوارتر خواهد شد؟ دیدگاهتان را در بخش نظرات بنویسید.