ICTPRESS - این مقاله به بررسی این موضوع می‌پردازد که چرا «چت‌جی‌پی‌تی» گاهی دستورهای متنی کاربران را نادیده می‌گیرد و چرا توسعه‌دهندگان هوش مصنوعی اجازه می‌دهند چنین اتفاقی بیفتد.
به گزارش شبکه خبری ICTPRESS به نقل از فاین‌چنل، شما دقیقاً به «چت‌جی‌پی‌تی» می‌گویید که چه کاری انجام دهد. سپس پاسخ می‌رسد و می‌بینید که مشکلی وجود دارد زیرا این مدل هوش مصنوعی، اطلاعاتی را که شما درخواست نکرده بودید اضافه کرده، ساختار را تغییر داده، نکته‌ای را که به آن گفته بودید حذف کند، تکرار کرده یا یکی از دستورالعمل‌های شما را به طور کامل نادیده گرفته است.
شما دستور متنی یا «پرامپت» خود را اصلاح می‌کنید. چت‌جی‌پی‌تی عذرخواهی می‌کند و قول می‌دهد که از دستورالعمل‌ها پیروی کند. گاهی اوقات این کار را انجام می‌دهد، اما گاهی اوقات همان اشتباه را تکرار می‌کند. این تجربه که به طور فزاینده‌ای رایج شده است، یکی از مشکلات حل‌نشده در هوش مصنوعی را آشکار می‌کند. مشکل این است که مدل‌های زبانی بزرگ هنوز در پیروی از دستورالعمل‌ها ناقص هستند؛ حتی زمانی که آن دستورالعمل‌ها واضح باشند.
این مسئله با حرکت هوش مصنوعی از چت‌بات‌ها به سوی عامل‌هایی که قادر به وب‌گردی، مطالعه اسناد، استفاده از نرم‌افزارها و انجام اقدامات به نیابت از کاربران هستند، اهمیت فزاینده‌ای پیدا می‌کند.
شکست‌ها ممکن است ناشی از تضاد میان قوانین سیستم و توسعه‌دهنده و کاربر، دشواری در مدیریت پرامپت‌های طولانی و محدودیت‌های متعدد، از دست رفتن محتوا، سوءتفاهم‌ها یا تمایل به ارائه اطلاعات اضافی و موافقت بیش‌ازحد و سریع با کاربران باشند.
این موضوع با ورود هوش مصنوعی به محیط‌های کاری و آغاز کار به عنوان یک عامل، اهمیت فزاینده‌ای پیدا می‌کند. «مرکز پژوهشی پیو» گزارش داد ۲۱ درصد از کارگران آمریکایی گفته‌اند که در سپتامبر ۲۰۲۵ حداقل برای برخی کارها از هوش مصنوعی استفاده کرده‌اند. شرکت مشاوره مدیریت «گالوپ» گزارش داد که ۴۵ درصد کارمندان حداقل چند بار در سال از هوش مصنوعی در محل کار خود استفاده می‌کنند. عوامل هوش مصنوعی با خطرات امنیتی مانند تزریق سریع نیز روبه‌رو هستند که در آن، دستورالعمل‌های مخرب پنهان در وب‌سایت‌ها یا اسناد می‌توانند به اقدامات غیرمجاز منجر شوند.
پژوهش‌های انجام‌شده در بازه زمانی ۲۰۲۴ تا ۲۰۲۶ نشان دادند که مشکلاتی مانند سلسله‌مراتب دستورالعمل‌ها، محدودیت‌های پیچیده و تملق‌گویی همچنان پابرجا هستند. در یک پژوهش، رفتار تملق‌آمیز در ۵۸٫۱۹ درصد از موارد آزمایش‌شده دیده شد؛ هرچند این رقم مختص همان روش‌شناسی ویژه بود.
کاربران می‌توانند با جدا کردن وظیفه از قوانین الزامی، شماره‌گذاری الزامات، تفکیک دستورالعمل‌های حیاتی از موارد سلیقه‌ای، درخواست از مدل برای بررسی تک‌تک الزامات و تکرار دستورات کلیدی در گفت‌وگوهای طولانی، میزان پایبندی مدل به پرامپت‌ها را بهبود ببخشند.
موارد ذکرشده برای سرپیچی هوش مصنوعی از پرامپت‌ها به شرح زیر هستند.
۱. هوش مصنوعی ممکن است عبارات مبهم یا نامشخص را اشتباه برداشت کند.
۲. اگر پرامپت حاوی سیگنال‌های متناقض باشد، ممکن است تمرکز هوش مصنوعی بر بخش نادرستی قرار بگیرد.
۳. گاهی اوقات ممکن است درخواست بیش از حد طولانی یا پیچیده باشد یا حاوی دستورالعمل‌های متناقض باشد.
برخی از اقدامات پیشنهادی برای ترغیب هوش مصنوعی به پیروی بهتر به شرح زیر هستند.
۱. از دستورالعمل‌های کوتاه و صریح استفاده کنید.
۲. مهم‌ترین قانون را در ابتدا قرار دهید.
۳. درباره قالب، لحن و هدف دقیق باشید.
این مقاله نتیجه می‌گیرد که هدف اطاعت بی‌نقص نیست؛ بلکه دستیابی به نوعی هوش مصنوعی است که بتواند تشخیص دهد کدام دستورالعمل‌ها مجاز و کدام ناایمن هستند و چه زمانی به تأیید انسان نیاز است.
نظرات کاربران