انویدیا (NVIDIA) در ۲۱ سپتامبر ۲۰۲۶ در وبلاگ رسمی خود نوشت که امنیت هوش مصنوعی را باید به‌عنوان یک «مسئلهٔ مهندسی» دید؛ یعنی الزامات امنیتی تعریف‌شده، کنترل‌های قابل‌اجرا، مالک مشخص، و شواهدی که نشان دهد حفاظت‌ها واقعاً کار می‌کنند. نویسندهٔ یادداشت، ساشا ژِدلار (Saša Zdjelar)، این رویکرد را در برابر فشار سازمان‌ها برای بهره‌گیری از بهره‌وری ایجنت‌ها مطرح کرده‌است؛ در حالی‌که رویه‌های حکمرانی و ایمن‌سازی این سامانه‌ها هنوز در حال شکل‌گیری است.
به گزارش انویدیا، ایجنت‌های هوش مصنوعی قابلیت‌هایی فراتر از پاسخ‌گویی ساده دارند: استدلال، استفاده از ابزارها و تطبیق اقدام‌ها با داده‌هایی که در مسیر کار می‌بینند. همین ویژگی‌ها اصول کلاسیک امنیت — هویت، کنترل دسترسی، محدودکردن سطح تماس و راستی‌آزمایی حفاظت‌ها — را در شرایط عملیاتی تازه قرار می‌دهد.
امنیت در پشتهٔ ایجنت هوش مصنوعی
یادداشت انویدیا پشتهٔ ایجنت را به چند لایه تقسیم می‌کند: مدل‌ها قابلیت می‌سازند؛ هارنس‌ها زمینه، ابزارها و گردش‌کار را سازمان می‌دهند؛ و محیط زمان‌اجرا زیرساختی است که اقدام‌ها در آن اجرا می‌شوند. از نظر شرکت، حفاظت مناسب نیازمند کنترل در هر لایه است، چون داده، دستورالعمل و اقدام در میان این لایه‌ها جابه‌جا می‌شوند.
در یک سناریوی نمونه، ایجنتی که قرار است پروندهٔ مشتری را به‌روزرسانی کند، در یک پیوست با دستورالعمل مخرب روبه‌رو می‌شود و می‌کوشد داده را به مقصدی غیرمجاز بفرستد. به گفتهٔ انویدیا، سیاست شبکه باید انتقال را مسدود کند و لاگ‌های محافظت‌شده باید فراخوانی ابزار، تصمیم مجوز و نتیجه را ثبت کنند تا تیم امنیت بتواند ابزار و مقصد را بازسازی کند. همچنین تأکید شده که مجوز به‌روزرسانی پرونده نباید به‌طور خودکار به صادرات داده گسترش یابد؛ ایجنت می‌تواند دسترسی بیشتر بخواهد، اما نباید خودش آن را تصویب کند.
اگر دربارهٔ تجربهٔ استقرار ایجنت در محیط سازمانی نکته‌ای دارید، در بخش دیدگاه‌ها بنویسید.
مرز امنیتی بیرون از استدلال مدل
انویدیا می‌گوید مرز امنیتی باید حتی وقتی ایجنت تصمیم نادرست می‌گیرد پابرجا بماند. محیط اجرا تعیین می‌کند ایجنت چه کاری مجاز است انجام دهد؛ بنابراین محدودیت روی فایل‌ها، مقصدهای شبکه و فرایندها باید مستقل از استدلال خود ایجنت اعمال شود. راهنماهای متنی می‌توانند رفتار را هدایت کنند، اما امنیت به مرزهای قابل‌اجرا نیز نیاز دارد.
بر اساس همین یادداشت، هر ایجنت به هویت قابل‌ردیابی و اعتبارنامه‌هایی محدود به وظیفهٔ محول‌شده نیاز دارد. سازمان‌ها باید سیاست روشنی داشته باشند که ایجنت به چه اطلاعاتی دسترسی دارد، کدام سامانه‌ها را می‌تواند تغییر دهد و کدام اقدام‌ها نیازمند تأیید انسانی است. اقدام‌های پیامددار و تغییر مجوزها همچنان باید به تأیید انسان وابسته بمانند. همچنین منبع و یکپارچگی ابزارها، مهارت‌ها و وابستگی‌ها باید راستی‌آزمایی شود.
OpenShell و شرکای Open Secure AI Alliance
انویدیا OpenShell را زمان‌اجرای امن متن‌باز معرفی کرده که سیاست‌ها را بیرون از دسترس ایجنت اعمال می‌کند، اجرای سندباکس‌شده فراهم می‌آورد و دسترسی ایجنت به داده، شبکه و منابع سامانه را مدیریت می‌کند. به نوشتهٔ شرکت، شرکای ائتلاف Open Secure AI Alliance روی این بستر کار می‌کنند: DefenseClaw سیسکو لایهٔ حکمرانی اضافه می‌کند و جی‌فراگ (JFrog) مهارت‌های ایجنت را پویش و راستی‌آزمایی کرده و سیاست دسترسی به مهارت‌ها را اعمال می‌کند.
قبل از استقرار، تیم‌ها باید شواهدی داشته باشند که کنترل‌ها تلاش برای گرفتن اعتبارنامهٔ فراتر از دامنه یا ارسال دادهٔ حساس به مقصد غیرمجاز را مسدود می‌کنند. آزمون باید تلاش برای تغییر مجوزها یا اختلال در پایش را نیز پوشش دهد و پس از تغییر معنادار مدل، ابزار یا گردش‌کار تکرار شود. یک مالک نام‌دار باید با اتکا به همان نتایج دربارهٔ آمادگی استقرار تصمیم بگیرد. در میان ابزارهای دفاعی، انویدیا به SafeMind کراوداسترایک، Prisma AIRS پالو آلتو نتورکس، VulnHunter کپیتال‌وان و Spectra Assure شرکت ReversingLabs اشاره کرده‌است.
در جمع‌بندی یادداشت آمده‌است که هر استقرار ایجنت به مرزهای قابل‌اجرا، مالک پاسخ‌گو و شواهد کارکرد حفاظت‌ها نیاز دارد و پژوهش باز و ابزارهای مشترک به گسترش این استاندارد کمک می‌کند. انویدیا خوانندگان را به پیگیری پژوهش امنیتی خود و پیوستن به Open Secure AI Alliance دعوت کرده‌است.
به نظر شما برای سازمان‌های ایرانی، اولویت اول در ایمن‌سازی ایجنت‌ها کدام لایه است: مدل، هارنس یا زمان‌اجرا؟
بعد از خواندن مطلب بپرسید؛ پاسخ فقط از همین مقاله است.
این مطلب برایتان مفید بود؟
فرهاد محمدی خبرنگار فناوری و هوش مصنوعی فیسیت است. کار روزانه‌اش این است که خبر مدل‌های زبانی، ابزارهای جدید و ادعاهای پرزرق‌وبرق شرکت‌ها را به زبان قابل‌استفاده برای مخاطب ایرانی برگرداند؛ بدون هیجان کاذب و بدون ترساندن بی‌دلیل.
میز کارش دو بخش است: هوش مصنوعی، و فناوری و تکنولوژی روز — نرم‌افزار، اینترنت و تغییراتی که روی کار و زندگی دیجیتال اثر می‌گذارند. قبل از نوشتن معمولاً می‌پرسد «برای کاربر چه فرقی می‌کند؟» و همان را محور مطلب می‌گذارد.
آموزش Certbot روی اوبونتو؛ HTTPS رایگان با nginx و Let’s Encrypt
ویوو OriginOS ۷ را معرفی کرد؛ Workbench، جوی و پیوند بومی با اپل
کلودفلر Disallow AI Training؛ جستجو بماند، آموزش مدل نه
نظرات کاربران