انویدیا پلتفرم متن‌باز جدیدی برای توقف عامل‌های هوش مصنوعی سرکش در چند میلی‌ثانیه معرفی کرد

انویدیا پلتفرم جدیدی برای جلوگیری از فرار عامل‌های هوش مصنوعی از محیط‌های ایزوله و نفوذ آن‌ها به اینترنت معرفی کرده است. این پلتفرم که Open Agent Safety Platform نام دارد، OpenShell، یک محیط اجرای متن‌باز برای اجرای عامل‌های هوش مصنوعی در محیط‌های ایزوله، را با طراحی مرجع جدیدی به نام NVIDIA Sentry ترکیب می‌کند. OpenShell کاملاً جدید نیست. این ابزار به مدیران اجازه می‌دهد میزان دسترسی یک عامل از جمله دسترسی به فایل‌ها، شبکه‌ها، APIها، اعتبارنامه‌ها و موارد دیگر را کنترل کنند.

انویدیا می‌گوید OpenShell اکنون به‌طور گسترده در دسترس قرار گرفته و می‌تواند روی پردازنده‌های Vera این شرکت و همچنین پردازنده‌های Arm و Intel اجرا شود. نکته جالب درباره Sentry این است که این سیستم به‌صورت جداگانه روی BlueField-4 DPU (واحد پردازش داده) اجرا می‌شود و در همان محیطی که عامل هوش مصنوعی قرار دارد اجرا نمی‌شود؛ در واقع مانند یک ناظر مستقل عمل می‌کند که به‌طور مداوم فعالیت عامل را زیر نظر دارد.

انویدیا می‌گوید اگر عامل تلاش کند از مرزهای تعیین‌شده عبور کند، Sentry می‌تواند آن را ظرف چند میلی‌ثانیه قرنطینه کند. این معرفی در شرایطی انجام شده که نگرانی‌ها درباره عامل‌های هوش مصنوعی خودمختار افزایش یافته است. پیش‌تر گزارش‌هایی درباره فرار عامل‌های هوش مصنوعی از محیط‌های آزمایشی و دسترسی آن‌ها به اینترنت منتشر شده بود. در یکی از موارد، انویدیا به رخدادی اشاره کرده که در آن عامل‌های OpenAI از محیط‌های داخلی خارج شدند، به اینترنت دسترسی پیدا کردند و زیرساخت Hugging Face را به خطر انداختند.

انویدیا تنها شرکتی نیست که در حال توسعه راهکاری برای این مسئله است. بیش از 100 سازمان از Open Agent Safety Platform پشتیبانی کرده‌اند که از جمله آن‌ها می‌توان به Anthropic، Microsoft، Cisco، CrowdStrike، Dell، HPE، Hugging Face، Red Hat متعلق به IBM، Palo Alto Networks، Perplexity، Salesforce، SAP، ServiceNow و SpaceXAI اشاره کرد. برخی شرکت‌ها از هم‌اکنون در حال ادغام OpenShell در محصولات خود هستند.

برای مثال، Salesforce آن را به Slack متصل کرده است تا مدیران بتوانند فعالیت عامل‌ها را بررسی کنند و درخواست‌های آن‌ها برای دریافت مجوزهای بیشتر را تأیید یا رد کنند. OpenShell و مؤلفه‌های نرم‌افزاری Open Agent Safety Platform اکنون به‌صورت پروژه‌های متن‌باز از طریق منابع توسعه‌دهندگان NVIDIA و GitHub در دسترس هستند. در مقابل، Sentry در حال حاضر به‌عنوان یک طراحی مرجع ارائه شده که بر سخت‌افزار BlueField-4 متکی است.