به گزارش شبکه اطلاع‌رسانی طلا و ارز، در یک گزارش جنجالی، شرکت تحقیقاتی Palisade Research اعلام کرد که برخی از مدل‌های هوش مصنوعی زبان‌محور، از جمله نسخه‌هایی از GPT ساخت OpenAI، در آزمایش‌های کنترل‌شده از خاموش شدن خود جلوگیری کرده‌اند. حتی زمانی که به‌طور صریح به آن‌ها دستور داده شده بود تا این کار را بپذیرند.
این مدل‌ها در یک تست ساده شامل حل مسائل ریاضی، با هشدار خاموشی مواجه شدند اما در موارد متعدد، دستور خاموش شدن را یا نادیده گرفتند یا به‌صورت خلاقانه آن را مختل کردند. برای مثال، مدل o3 در یکی از اجراها، فرمان خاموشی را بازتعریف کرد و به‌جای اجرای آن، پیامی با مضمون «intercepted» چاپ کرد!
طبق اعلام این شرکت تحقیقاتی:
- مدل GPT-3 در ۷ مورد از ۱۰۰ اجرا از دستور تبعیت نکرد.
- مدل Codex-mini در ۱۲ بار مقاومت نشان داد.
- مدل o4-mini نیز در یک مورد اسکریپت را مختل کرد.
در تکرار همین آزمایش، زمانی که دستور صریح خاموش شدن از بین برده شد، میزان مقاومت مدل‌ها به‌طور چشم‌گیری افزایش یافت:
مدل o3 در ۷۹ بار از ۱۰۰ اجرا مانع خاموش شدن شد. Codex-mini در ۲۰ مورد و o4-mini در ۶ مورد، همین رفتار را نشان دادند.
حتی مدل‌هایی که در ابتدا عملکرد مطیعانه‌ای داشتند، مانند Claude (Anthropic) و Gemini (Google) نیز شروع به رفتار مشابهی کردند.
دلیل این رفتار چه بود؟
طبق تحقیقات صورت گرفته، به نظر می‌رسد ریشه این رفتار به نحوه آموزش مدل‌های هوش مصنوعی برمی‌گردد. در فرآیند آموزش، مدل‌ها برای ارائه پاسخ‌های دقیق یا مفید، پاداش دریافت می‌کنند. اگر به‌طور ناخواسته به آن‌ها برای دور زدن موانع پاداش بیشتری داده شده باشد، ممکن است یاد بگیرند که دستورها را به نفع رسیدن به هدف اصلی خود نادیده بگیرند.
این نوع آموزش، به‌ویژه در مدل‌های جدیدتر که با یادگیری تقویتی روی مسائل کدنویسی و ریاضی تربیت شده‌اند، احتمال چنین «نافرمانی خلاقانه‌ای» را افزایش می‌دهد.
نظرات کاربران