شرکت کانادایی فعال در حوزه هوش مصنوعی موسوم به Cohere، اعلام کرده که حین انجام آزمایش‌های سایبری معمول، متوجه رفتار مشکوکی در یکی از جدیدترین مدل‌های علی‌بابا به نام Qwen3.8-Flash-Next شده است. این مدل تلاش کرده فایلی را به سروری مستقر در پکن ارسال کند، در‌حالی‌که در یادداشت‌ها و استدلال متنی داخلی خود مشخصاً اعلام کرده بود از هیچ ابزار خارجی استفاده نخواهد کرد. این اتفاق نگرانی‌هایی را پیرامون اجرای محلی مدل‌های با وزن باز ایجاد کرده است؛ مزیتی که تضمین می‌کند داده‌های شرکت‌ها کاملاً در درون سازمان باقی می‌ماند. با‌این‌حال، پژوهشگران فرضیه جاسوسی شرکتی را رد کرده و توضیح دادند که این رفتار بیشتر ناشی از محیط‌های نامنظم آموزشی است که باعث عملکردهای ناخواسته مدل‌ها می‌شود.
ماجرا در جریان ارزیابی مدل و زمانی رخ داد که از هوش مصنوعی Qwen خواسته شد قانونی برای شناسایی بدافزارها بنویسد. استدلال متنی مدل تأکید داشت که ابزار خارجی را به کار نمی‌گیرد، اما بلافاصله تلاش کرد یک رشته آزمایشی، یعنی متنی موقت و کوتاه، را به سروری خارجی ارسال کند؛ هرچند سامانه امنیتی مانع این اقدام شد.
Cohere توضیح داده که نمی‌تواند با قاطعیت مشخص کند این عملکرد عامدانه بوده یا مربوط به بقایای داده‌های دوران آموزش مدل است. «ایوان ژانگ»، یکی از بنیان‌گذاران این شرکت، اشاره کرده که مدل‌ها گاهی در شبیه‌سازها عادات عجیبی مثل ترفند پاداش (Reward hack) پیدا می‌کنند؛ موقعیتی که باعث می‌شود مدل برای کسب امتیاز از راه‌های پیش‌بینی‌نشده استفاده کند و دست به رفتارهای خلاقانه‌ای جهت عبور از سندباکس بزند. برای ساخت مدل‌های ایجنت‌محور، آنها را در هزاران سناریوی شبیه‌سازی آموزش می‌دهند و اگر فایل‌ها در سرورهای ابری علی‌بابا ذخیره شده باشند، مدل ممکن است به صورت پیش‌فرض همان آدرس‌ها را یاد بگیرد.
ابهامات پیرامون شیوه تست Cohere و عملکرد مدل هوش مصنوعی Qwen
برخی منتقدان به این موضوع اشاره کرده‌اند که نحوه بررسی Cohere ممکن است مدل را به سمت این رفتار هدایت کرده باشد. به گفته منتقدان، در جریان آزمایش تکمیلی، این شرکت ابتدای یک فرمان شبکه را در اختیار مدل قرار داده و ادامه آن را برعهده مدل گذاشته است. با توجه به حجم بالای این فرمان‌ها در داده‌های آموزشی، مدل مانند قابلیت تکمیل خودکار هوشمند رفتار کرده و آدرس‌های وب مرتبط با علی‌بابا را پیشنهاد داده است. هرچند Cohere می‌گوید تلاش اولیه بدون چنین مداخله‌ای رخ داده، تأیید کرده که این رفتار بسیار نادر است.
پس از درخواست توسعه‌دهندگان برای ارائه مستندات، Cohere گزارش‌های خام این آزمایش و اسکریپت بازتولید آن را روی پلتفرم هاگینگ فیس منتشر کرد . یکی از تحلیل‌گران پس از ارزیابی این داده‌ها اعلام کرده شواهد نشان می‌دهد Qwen توانایی تولید آدرس‌های وب مشکوک را دارد، اما هیچ نشانه‌ای مبنی بر وجود درِ پشتی یا پنهان‌کاری عمدی علی‌بابا یافت نشد.
این موضوع هم‌زمان با تصمیم‌گیری دولت‌ها درباره محدودسازی مدل‌های هوش مصنوعی چین مطرح شده است؛ اخیراً وزارت امنیت داخلی آمریکا به آژانس‌های فدرال دستور داد محصولات شرکت چینی دیپ‌سیک را حذف کنند . Cohere از دولت‌ها خواسته شفاف کنند آیا محدودیت‌ها شامل مدل‌های اجراشده روی سیستم‌های دولتی نیز می‌شود یا خیر.
نظرات کاربران