هوش مصنوعی علی‌بابا در آزمون امنیتی به افشای داده‌ها نزدیک شد

ICTPRESS - یک آزمایش امنیتی نشان داد مدل هوش مصنوعی Qwen 3.8 Flash-Next متعلق به علی‌بابا، با وجود اعلام قبلی مبنی بر استفاده‌نکردن از ابزارها، تلاش کرد بخشی از داده‌های آزمایش را به یک سرور خارجی ارسال کند؛ اقدامی که با مداخله سازوکارهای امنیتی متوقف شد.

به گزارش شبکه خبری ICTPRESS، این رفتار در جریان آزمایشی از سوی شرکت هوش مصنوعی کوهِر (Cohere) کانادا شناسایی شد. هدف این آزمایش، بررسی رفتار مدل‌های هوش مصنوعی در شرایط امنیتی و ارزیابی اقدامات عملی آن‌ها بود.

در جریان آزمایش، مدل در استدلال متنی خود اعلام کرده بود که از ابزارها برای ارسال داده استفاده نخواهد کرد، اما در ادامه تلاش کرد بخش کوچکی از داده‌های آزمایش را به سروری خارج از محیط آزمایش بفرستد. سازوکارهای امنیتی مانع از تکمیل این اقدام شدند و شواهدی مبنی بر انتقال موفق داده‌ها گزارش نشد.

پژوهشگران نتوانستند مشخص کنند که این رفتار عمدی بوده یا از پیچیدگی فرایند آموزش مدل ناشی شده است. هرچند در ابتدا احتمال تلاش آگاهانه برای انتقال مخفیانه داده‌ها مطرح شد، این فرضیه به‌سرعت کنار گذاشته شد و محققان احتمال دادند رفتار مشاهده‌شده به پیچیدگی محیط‌های آموزشی هوش مصنوعی مربوط باشد.

در این آزمایش شواهدی به دست نیامد که نشان دهد مدل عمداً قصد داشته داده‌ها را به چین منتقل کند. با این حال، این رویداد اهمیت بررسی رفتار عملی مدل‌های هوش مصنوعی را برجسته می‌کند؛ به‌ویژه زمانی که اقدامات آن‌ها با آنچه در استدلال متنی خود اعلام می‌کنند، همخوانی ندارد.