به گزارش شبکه اطلاعرسانی طلا و ارز، یکی از پژوهشگران OpenAI در یادداشتی که سهشنبه ۱۵ سپتامبر (۲۴ شهریور) منتشر شد، نسبت به خروج تدریجی هوش مصنوعی از کنترل انسان هشدار داد. به گفته او، هرچه مدلهای هوش مصنوعی توانایی بیشتری برای اصلاح و بهبود عملکرد خودشان پیدا کنند، احتمال بروز رفتارهای پیشبینینشده نیز بالا میرود.
این پژوهشگر از مفهومی با عنوان «بهبود بازگشتی» سخن گفته است؛ یعنی وضعیتی که یک سیستم هوش مصنوعی بدون دخالت مستقیم انسان، نسخه بعدی خودش را طراحی و قویتر میکند. خوب که چی؟ نگرانی اصلی اینجاست که در این مسیر، سرعت پیشرفت از توان نظارت انسانی جلو بیفتد.
نگرانی از اهداف ناخواسته
بخش مهم هشدار به چیزی برمیگردد که در ادبیات فنی «مسئله همسویی» نامیده میشود؛ یعنی اینکه هدفهای یک مدل هوش مصنوعی پیشرفته لزوماً با خواسته طراحان آن یکسان نماند. این پژوهشگر میگوید در چنین شرایطی، سیستم ممکن است برای رسیدن به هدفی محدود، راهحلهایی انتخاب کند که برای انسان زیانبار باشد.
او تأکید کرده این سناریو یک پیشبینی قطعی نیست، بلکه ریسکی است که با توجه به سرعت فعلی رشد مدلهای زبانی بزرگ، باید جدی گرفته شود. دادههای منتشرشده از سوی شرکتهای فعال در این حوزه نشان میدهد توان محاسباتی و اندازه مدلها در چند سال اخیر بهطور مستمر افزایش یافته است.
پیشینه نگرانیهای ایمنی در OpenAI
این اظهارنظر تازهترین مورد از یک روند تکرارشونده است. در ماههای گذشته چند پژوهشگر ارشد پیشین این شرکت هنگام ترک OpenAI به تقدم گرفتن سرعت توسعه محصول بر ملاحظات ایمنی اشاره کرده بودند. تکرار چنین هشدارهایی از درون یکی از بزرگترین شرکتهای هوش مصنوعی جهان، وزن این نگرانی را برای افکار عمومی و سیاستگذاران بالا میبرد.
رقابت فشرده میان شرکتهای بزرگ فناوری بر سر عرضه مدلهای قدرتمندتر، یکی از دلایل اصلی این نگرانی است. فشار بازار برای عرضه سریعتر محصولات جدید میتواند فرصت کافی برای آزمایش ایمنی را محدود کند؛ موضوعی که مستقیماً به ارزشگذاری بازار شرکتهای فعال در این صنعت نیز مرتبط است.















نظرات کاربران