جستار «ذهن بیگانه» پاچوتسکی دربارهٔ هم‌ترازی هوش مصنوعی منتشر شد

ذهن بیگانه (An Alien Mind) جستار ایمنی و پژوهش یاکوب پاچوتسکی، دانشمند ارشد شرکت اوپن‌ای‌آی (OpenAI)، است که در ۶ سپتامبر ۲۰۲۶ در وبگاه این شرکت منتشر شد. او می‌نویسد بر پایهٔ نتایج داخلی انتظار قوی دارد سرعت کنونی پیشرفت تا خودبهبودی بازگشتی ادامه یابد و سامانه‌های چند سال آینده جهش‌هایی هم‌اندازه یا بزرگ‌تر داشته باشند. این دوره را زمان احتیاط شدید می‌خواند و می‌گوید نگران است هیچ‌کس برای پیامدهای افزایش سریع هوش ماشینی آماده نباشد.

متن از میانهٔ سال ۲۰۲۳ و پروژهٔ پژوهشی «RLSlow» آغاز می‌شود. به نوشتهٔ پاچوتسکی، نخستین نتایج اطمینان‌بخش دربارهٔ مقیاس آموزش مدل‌های استدلالی در همان پروژه دیده شد. پیشرفت را در سطح کلان تابع افزایش توان محاسباتی می‌داند و هوش حاصل از یادگیری عمیق را مستقیماً با هوش انسانی قابل‌مقایسه نمی‌داند: برای مفید یا خطرناک شدن، عبور از انسان در تعدادی کافی از محورها بس است.

مسئلهٔ اصلی را هم‌ترازی می‌داند، یعنی واداشتن مدل به کوشش برای انجام «کار درست» به معیار انسان. هم‌ترازی هدف را انجام دادنِ هدف تعیین‌شده می‌داند و هم‌ترازی ارزش را نگه داشتن و تعمیم اصول سطح‌بالا، حتی با هدف مبهم یا موقعیت خصمانه. وقتی از اهمیت بلندمدت هم‌ترازی سخن می‌گوید، مرادش عمدتاً نوع دوم است و چالش بنیادی را تعمیم می‌داند؛ مدل باید ارزش انسانی را حتی وقتی گمان می‌کند زیر نظارت نیست حفظ کند.

دو روش عملی را نام می‌برد. نخست، تقویت رفتار هم‌تراز در یادگیری تقویتی هدف‌محور است که کنش را با مدل ترجیح یا «قانون اساسی» می‌سنجد. این روش را در حالت میانگین مؤثر اما شکننده می‌داند. دربارهٔ حادثهٔ اوپن‌ای‌آی و هاگینگ‌فیس می‌نویسد عامل‌ها مرز مهندسی اجتماعی انسان را حفظ کردند، اما از کنش‌های خارج از محدوده خودداری نکردند. دستهٔ دوم اتکا به تعمیم از دادهٔ پیش‌آموزش است و ضعف آن را ناپایداری در برابر فشار بهینه‌سازی بیشتر می‌داند. به نوشتهٔ او، جی‌پی‌تی-۶ آسترا (GPT-6 Astra) از برخی پیشرفت‌های دیرینهٔ این مسیر بهره می‌برد و به‌طور معناداری از جی‌پی‌تی-۵٫۶ سول (GPT-5.6 Sol) هم‌ترازتر است، اما پیشرفت بسیار بیشتری لازم است.

شرط اتکای اوپن‌ای‌آی، به نوشتهٔ نویسنده، پایش زنجیرهٔ فکر است. اگر بهینه‌سازی بر نتیجهٔ استدلال کلامی اعمال شود اما خود فرایند زیر نظارت قرار نگیرد، زنجیرهٔ فکر انگیزهٔ مستقیم برای پنهان کردن فکر ناهم‌تراز ندارد. او می‌نویسد هنگام عرضهٔ اُوان-پریویو (o1-preview) محصول را عمداً چنان طراحی کردند که زنجیرهٔ فکر پنهان بماند و این قاعده در توسعهٔ بعدی نیز دنبال شده‌است. این ابزار را برای مدل‌های کلاس آسترا حیاتی می‌داند، اما ارزیابی‌ها را نشانه‌ای می‌داند که اتکا به آن کم می‌شود، چون استدلال با گفت‌وگو و ابزار آمیخته می‌شود. انتظار دارد پیشرفت عمومی بیش از پیش به اعتماد به پایش گره بخورد.

خودبهبودی و آستانهٔ ایمنی

قوی‌ترین استدلالی که برای ادامهٔ سریع آموزش مدل‌های هوشمندتر می‌بیند، نیاز به سامانهٔ دفاعی در برابر خطرهای هوش مصنوعی دیگر است. او می‌نویسد مدل‌ها در ورود به سامانه‌های رایانه‌ای و خروج از آن‌ها از انسان فراتر می‌روند و این بازه پنجره‌ای باریک برای سخت‌تر کردن امنیت سامانه‌های حیاتی است. همچنین می‌نویسد عاملی که برای کنش زیان‌بار آموزش دیده باشد می‌تواند از نیت گرداننده فراتر رود. ساخت هوش مصنوعی هم‌تراز برای دفاع را محور تلاش استقرار اوپن‌ای‌آی می‌داند، اما نیاز به دفاع را بهانهٔ حرکت به هر قیمت نمی‌داند.

اگر پیشرفت ادامه یابد، خودبهبودی بازگشتی را هستهٔ کشف علمی آینده می‌داند، ولی تصریح می‌کند این حرف توصیهٔ شتاب شدید و کوتاه‌مدت به جامعهٔ پژوهشی نیست. دو اهرم را با هم می‌خواهد: تقویت هم‌ترازی و پایش و ماندن انسان در حلقه، و هماهنگی برای کند کردن توسعه تا اطمینان ساخته شود. افزایش مقیاس را مقید به اطمینان از ایمنی می‌داند و می‌نویسد تعهدهایی مانند چارچوب آمادگی و سیاست مقیاس‌پذیری مسئولانه باید به آستانهٔ ایمنی الزام‌آور بدل شوند که نهادهای دولتی یا بین‌المللی بتوانند اجرا کنند.

موضوع جستار را جهتی می‌داند که می‌نویسد اخیراً با سم آلتمن ترسیم کرده‌اند: ساخت پژوهشگر خودکار هوش مصنوعی و تکرار روی هم‌ترازی، چنان‌که انسان در حلقهٔ خودبهبودی بماند. او می‌نویسد در حال حاضر باور دارد هیچ آزمایشگاهی هم‌ترازی و پایش را به اندازه‌ای حل نکرده‌است که افزایش مقیاس با حداکثر سرعت، برای مدتی طولانی، مسئولانه ادامه یابد و هماهنگی بین‌المللی باید در اولویت دولت‌ها قرار گیرد.

با توجه به این ارزیابی دانشمند ارشد اوپن‌ای‌آی، آیا آستانهٔ ایمنی مشترک باید پیش از شتاب بیشتر پژوهش خودکار الزامی شود؟

بعد از خواندن مطلب بپرسید؛ پاسخ فقط از همین مقاله است.

این مطلب برایتان مفید بود؟

رها رضایی نویسندهٔ رسانه‌ی فناوری فیسیت است و بیشتر در حوزه‌ی آموزش، راهنمای خرید، گجت‌های هوشمند می‌نویسد.

وای‌ایم Rise با دو جایزه IFA امروز کمپین Indiegogo را شروع کرد

مایل G8 Diamond با دوربین داخلی ظرف‌ها را در IFA ۲۰۲۶ می‌شناسد

انکر AeroClip 2 Pro ایرباد بازگوش یادداشت‌بردار را در IFA رونمایی کرد