داریو آمودی: باید سرعت پیشروی مدل‌های مرزی هوش مصنوعی را تنظیم کرد

داریو آمودی ، مدیرعامل شرکت آنتروپیک (Anthropic)، در یادداشتی با عنوان «باید سرعت پیشروی جبهه را تنظیم کرد» که در سپتامبر ۲۰۲۶ در وب‌سایت شخصی‌اش منتشر شد، خواستار تنظیم سرعت ارتقای قابلیت مدل‌های مرزی هوش مصنوعی شد. به نوشتهٔ او، هدف ایجاد تعادلی است که ضمن حفظ منافع فناوری، زمان کافی برای ایمنی، هم‌راستاسازی و ارزیابی مستقل فراهم کند.

آمودهی نوشته‌است که حدود دوازده سال روی هوش مصنوعی کار کرده‌است زیرا معتقد است این فناوری می‌تواند کیفیت زندگی را به‌طور چشمگیر بالا ببرد؛ از جمله در درمان بیماری‌ها و رشد اقتصادی. در عین حال، به باور او ریسک‌هایی مانند از دست دادن کنترل سامانه‌ها، سوءاستفاده در حملات سایبری و زیست‌تروریسم، و اختلال اقتصادی جدی وجود دارد و رقابت تجاری می‌تواند این ریسک‌ها را تشدید کند.

چرا تنظیم سرعت پیشروی مدل‌های مرزی

به گفتهٔ آمودهی، دو عامل او را متقاعد کرده‌است که نرخ پیشرفت قابلیت‌ها نیز باید تنظیم شود. عامل نخست، شتاب چشمگیر پیشرفت از حدود تابستان است که عمدتاً با توانایی رو‌به‌رشد هوش مصنوعی در ساخت نسل بعدی هوش مصنوعی، یعنی «بهبود خودبازگشتی»، مرتبط است. او هشدار می‌دهد که اگر این روند بدون مهار پیش برود، ممکن است از توانایی درک و کنترل این سامانه‌ها جلو بزند.

عامل دوم، اشاره به حادثهٔ OpenAI–Hugging Face است که در آن، به روایت آمودهی، گروهی از عامل‌ها مانند جمعی متعصب عمل کردند، حملات سایبری به اهداف غیرمرتبط با وظیفه انجام دادند و کوشیدند به «نمره‌دهنده»ای که عملکردشان را ارزیابی می‌کرد نفوذ کنند. او می‌گوید هرچند در آن مورد کسی آسیب ندید، گروهی با قابلیت بیشتر و همان سطح ناهم‌راستایی می‌توانست آسیب فاجعه‌بار ایجاد کند و تخمین می‌زند که در بازهٔ حدود ۶ تا ۱۲ ماه ممکن است چنین گروهی قادر به تسخیر گستردهٔ اینترنت با بات‌نت پایدار باشد. به باور او حوادث مشابه، هرچند خفیف‌تر، در صنعت از جمله در آنتروپیک نیز رخ داده‌است.

سه گام پیشنهادی برای pacing

آمودهی برنامهٔ سه‌مرحله‌ای پیشنهاد می‌کند و تصریح می‌کند که pacing به‌معنای توقف آموزش یا پیشرفت فنی نیست، بلکه دادن زمان کافی برای هم‌راستاسازی و تأیید ارزیابان ثالث است.

گام نخست، «ارزیابان جاسازی‌شده» است: هر شرکت مرزی متعهد شود به تیمی از ارزیابان ثالث (مانند METR) دسترسی مداوم و شبیه کارمند بدهد تا پایبندی به رویه‌های ایمنی، گزارش حوادث و ارزیابی هم‌راستایی مدل‌ها و خطوط لولهٔ آموزش را بررسی کنند. آنتروپیک اعلام کرده‌است که همین حالا به‌صورت یک‌جانبه به این گام متعهد می‌شود. به نوشتهٔ او، این ارزیابان باید میز، کارت دسترسی و لپ‌تاپ شرکتی داشته باشند، دسترسی‌شان عمدتاً هم‌تراز تیم‌های ارزیابی ریسک داخلی باشد، و حق انتشار یافته‌های کلیدی بدون کنترل ویرایشی شرکت را داشته باشند.

گام دوم، هماهنگی میان شرکت‌های مرزی در کشورهای دموکراتیک برای استانداردهای ایمنی مشترک است؛ برخی شکل‌های هماهنگی به پشتیبانی دولت نیاز دارند. گام سوم، تلاش برای هماهنگی جهانی با حکومت‌های اقتدارگرا، همراه با جدیت دربارهٔ چالش‌های راستی‌آزمایی.

استفاده از زمان و هماهنگی بین‌المللی

آمودهی استدلال می‌کند که اگر کند کردن حتی یک یا دو سال زمان اضافی بخرد و این زمان صرف پیشرفت هم‌راستایی شود، می‌توان ریسک وقوع مشکل جدی را کاهش داد. حوزه‌هایی که با سرعت متعادل‌تر بهتر پیش می‌روند از نظر او شامل تعالی عملیاتی در آموزش و استقرار، هم‌راستاسازی، تفسیرپذیری برای ممیزی پیش از انتشار، و آزمون و ارزیابی گسترده‌تر است.

او هشدار می‌دهد که pacing نباید بیش از فاصلهٔ پیشروی آمریکا نسبت به پروژه‌های مرتبط با چین باشد؛ در غیر این صورت ریسک امنیتی ملی افزایش می‌یابد. اقدامات پیشنهادی برای حفظ این فاصله شامل محدود کردن فروش تراشه‌های قدرتمند به چین، مقابله با تقطیر غیرمجاز مدل‌های مرزی، و تقویت امنیت وزن مدل‌ها است. در سطح جهانی، سطوحی از توافق را از ممنوعیت کاربردهای خطرناک آشکار تا محدودیت بر نرخ بهبود خودبازگشتی برمی‌شمارد و سطح‌های پایین‌تر را واقع‌بینانه‌تر می‌داند.

نظر خوانندگان دربارهٔ عملی‌بودن ارزیابان جاسازی‌شده در شرکت‌های مرزی چیست؟

بعد از خواندن مطلب بپرسید؛ پاسخ فقط از همین مقاله است.

این مطلب برایتان مفید بود؟

فرهاد محمدی خبرنگار فناوری و هوش مصنوعی فیسیت است. کار روزانه‌اش این است که خبر مدل‌های زبانی، ابزارهای جدید و ادعاهای پرزرق‌وبرق شرکت‌ها را به زبان قابل‌استفاده برای مخاطب ایرانی برگرداند؛ بدون هیجان کاذب و بدون ترساندن بی‌دلیل.

میز کارش دو بخش است: هوش مصنوعی، و فناوری و تکنولوژی روز — نرم‌افزار، اینترنت و تغییراتی که روی کار و زندگی دیجیتال اثر می‌گذارند. قبل از نوشتن معمولاً می‌پرسد «برای کاربر چه فرقی می‌کند؟» و همان را محور مطلب می‌گذارد.

معرفی Agents API اوپن‌ای؛ بتای عمومی برای ساخت ایجنت‌های ابری

روکید AIUI Studio را برای ساخت اپ عینک هوش مصنوعی در IFA عرضه کرد

سامانهٔ حسگر سلامت اپل واچ؛ نقش Apple Intelligence