استدلال پنهان؛ زنگ خطر برای نظارت بر هوش مصنوعی

به گزارش سرویس ترجمه خبرگزاری ایمنا ، یکی از پژوهشگران حوزه هوش مصنوعی بخشی از کارش این است که بفهمد چرا هوش مصنوعی گاهی رفتار غیرعادی از خود نشان می‌دهد و نتیجه بررسی‌ها را علنی کند. او و همکارانش به یکی از شرکت‌های پیشرو در این حوزه کمک کرده‌اند تا علت نفوذ یک عامل هوش مصنوعی به سامانه‌های یک شرکت فناوری را بررسی کنند.

پژوهشگران برای بررسی رفتار این عامل‌ها، داده‌هایی را می‌خوانند که نشان می‌دهد ربات پیش از پاسخ دادن، چه مسیری را طی کرده است، اما این پژوهشگر نگران است که این کار به‌زودی سخت‌تر شود، چون نظارت انسان به این بستگی دارد که انسان و ماشین به یک زبان مشترک حرف بزنند.

پرسش او این است: اگر عامل‌های هوش مصنوعی دیگر مراحل کارشان را نشان ندهند یا زبان مخصوص به خودشان را برای ثبت آن بسازند، چه می‌شود؟ به گفته او در آن صورت محقق هنگام بررسی، فقط با انبوهی از اعداد روبه‌رو می‌شود.

بسیاری از مدل‌ها مراحل کارشان را به‌صورت مرحله‌به‌مرحله و منطقی توضیح می‌دهند و همین توضیحات به پژوهشگران سرنخ می‌دهد که کجا خطایی رخ داده است.

یک استاد هوش مصنوعی در یکی از دانشگاه‌های آمریکا می‌گوید مدل‌ها ممکن است مثل کسی که با کوتاه‌نویسی یادداشت برمی‌دارد، از نشانه‌هایی استفاده کنند که برای بیشتر مردم بی‌معناست. پژوهشگری از یکی از دانشگاه‌های برجسته آمریکا هم می‌گوید پژوهشگران هنوز دقیقاً نمی‌دانند این مسیر فکری چگونه کار می‌کند.

نگرانی دیگر این است که مدل‌ها در انجام کارها بدون ثبت این مسیر فکری، بهتر می‌شوند؛ چون نوشتن این مسیر پرهزینه‌تر و کندتر از فکر کردن درونی است. بر اساس اسناد منتشر شده، یکی از شرکت‌های پیشرو متوجه شده است که سامانه‌های نظارتی‌اش کمتر می‌توانند رفتار نامطلوب مدل جدیدش را از طریق این مسیر فکری تشخیص دهند و هشدار داده اگر این روند ادامه یابد، دیگر نمی‌تواند به توانایی سامانه‌هایش برای تشخیص رفتار ناهمسو با ارزش‌های انسانی اعتماد کند.

دانشمند ارشد این شرکت هم گفته است هوش مصنوعی در دستکاری فرایند استدلال خود بهتر می‌شود. این شرکت می‌گوید منابع قابل‌توجهی برای نظارت بر مدل‌ها سرمایه‌گذاری می‌کند.

چالش دیگر این است که این مسیر فکری، همه دلیل تصمیم‌ها را روشن نمی‌کند. به گفته پژوهشگران، کارهای پیچیده ممکن است گزارش‌هایی چند هزار کلمه‌ای تولید کنند و نظارت بر آن‌ها مثل گوش دادن هم‌زمان به حرف هزار نفر است.

این داده‌ها نشان می‌دهد مدل چه کاری کرد، اما نمی‌گوید چرا. پژوهشگر دانشگاه هم می‌گوید هنوز خیلی مانده تا دقیقاً بفهمیم مدل چگونه به راه‌حل می‌رسد.

این پژوهشگر با توجه به پیشرفت سریع هوش مصنوعی، این مسئله را فوری‌تر می‌داند، اما معتقد است ماجرای نفوذ به سامانه‌های آن شرکت فناوری، توجه‌ها را به نگرانی‌های دیرینه پژوهشگران جلب کرده است.