تنظیم Disallow AI Training محصولی است که کلودفلر در ۱۵ سپتامبر ۲۰۲۶ برای مدیریت خزنده‌های ترکیبی اعلام کرده‌است. هدف اعلام‌شده این است که مالکان سایت بتوانند ایندکس جستجو را حفظ کنند و هم‌زمان از آموزش مدل روی همان محتوا خودداری نمایند؛ بدون آنکه ناچار به مسدودسازی کامل خزنده‌های بزرگ شوند.
به نوشتهٔ وبلاگ رسمی کلودفلر، بسیاری از سازمان‌های بزرگ اینترنت از خزنده‌های «ترکیبی» (mixed-use) استفاده می‌کنند؛ یعنی یک خزنده هم برای ایندکس جستجو و هم برای آموزش یا تنظیم مدل به‌کار می‌رود. در نبود کنترل جداگانه، رد کردن آموزش به‌معنای قطع شدن مسیر کشف در جستجو نیز بوده‌است. تنظیم تازه دقیقاً برای شکستن همین بده‌بستان معرفی شده‌است.
Disallow AI Training کلودفلر چیست؟
طبق اعلام شرکت، رفتار خزنده‌ها در سه دستهٔ جستجو (Search)، آموزش (Training) و عامل (Agent) طبقه‌بندی می‌شود. برای آموزش، گزینه‌های دامنه به این شکل است: Allow؛ Disallow AI Training؛ Block on pages with ads؛ و Block. گزینهٔ Disallow AI Training از طریق Bot Preference Sync ترجیح «بدون آموزش» را در robots.txt منتشر می‌کند، خزنده‌های ترکیبیِ واجد شرایط را برای جستجو باز نگه می‌دارد و سایر خزنده‌های آموزش‌محور را مسدود می‌کند.
کلودفلر می‌نویسد کمتر از یک درصد سایت‌های تحت پوشش این شبکه جستجو را مسدود می‌کنند، در حالی که حدود ۱۷ درصد دست‌کم سازوکاری برای محدود کردن آموزش فعال کرده‌اند. به همین دلیل، به‌جای یک دکمهٔ کلی «Block AI»، کنترل‌های ریزدانه‌تر جایگزین شده‌اند.
از ۱۵ سپتامبر، گزینه‌های Block و Block on pages with ads روی خزنده‌های ترکیبی نیز اعمال می‌شوند؛ از جمله Applebot، Bingbot و Googlebot. در نتیجه اگر مالک سایت این گزینه‌ها را انتخاب کند، هم آموزش و هم جستجو قطع می‌شود. برای قطع آموزش و حفظ جستجو باید از Disallow AI Training استفاده شود. همچنین «Block AI Bots» و Managed Robots.txt در مسیر کنارگذاری اعلام شده‌اند و ترجیحات مشتریان موجود به کنترل‌های جدید منتقل می‌شوند.
اگر تجربه یا پرسشی دربارهٔ تنظیم خزنده‌ها در پنل کلودفلر دارید، در بخش دیدگاه‌ها بنویسید.
نام‌گذاری Accountable و رفتار اپل، گوگل و مایکروسافت
کلودفلر برای اپراتورهایی که کنترل و شفافیت را ارائه می‌دهند یا تعهد زمانی مشخص دارند، عنوان Accountable را به‌کار برده‌است. شرایط اعلام‌شده شامل امکان انصراف از آموزش (مثلاً از طریق robots.txt)، امکان انصراف از خلاصه‌های تولیدشده با هوش مصنوعی، شفافیت در سطح نشانی صفحه دربارهٔ محتوای در دسترس برای آموزش، و تضمین آنکه انصراف از آموزش رتبهٔ جستجوی سنتی را تغییر ندهد، است.
خزنده‌های مرتبط آمازون، Anthropic، متا و OpenAI نیز به‌عنوان Accountable طبقه‌بندی شده‌اند؛ چون جستجو و آموزش را جدا می‌کنند و می‌توان خزندهٔ آموزش را بدون آسیب به جستجو مسدود کرد.
مهاجرت تنظیمات و گام بعدی خلاصه‌های هوش مصنوعی
کلودفلر گام بعدی را کنترل روی خلاصه‌های هوش مصنوعی (AI Summaries) اعلام کرده‌است. به استناد ارقام منتشرشده در همان مطلب، بیش از نیمی از مصرف‌کنندگان خلاصه‌ها را در جستجو می‌خوانند و این گروه بیش از ۴۰ درصد بیشتر احتمال دارد پس از خواندن خلاصه جستجو را تمام کنند؛ در مقابل، ارجاع از جستجوی مبتنی بر هوش مصنوعی بین سه تا بیش از پنج برابر نرخ تبدیل بالاتری نسبت به جستجوی سنتی دارد. شرکت تأکید کرده‌است نقش آن انتخاب کسب‌وکار برای مالک نیست، بلکه فراهم‌کردن کنترل و دیده‌پذیری است.
این کنترل‌ها طبق اعلام کلودفلر برای همهٔ طرح‌ها، از جمله طرح رایگان، در تنظیمات امنیتی دامنه در دسترس‌اند. جزئیات فنی و جدول مهاجرت در وبلاگ رسمی کلودفلر آمده‌است.
از دید شما، برای سایت‌های فارسی‌زبان اولویت باید حفظ ترافیک جستجو باشد یا محدود کردن آموزش مدل؟
بعد از خواندن مطلب بپرسید؛ پاسخ فقط از همین مقاله است.
این مطلب برایتان مفید بود؟
فرهاد محمدی خبرنگار فناوری و هوش مصنوعی فیسیت است. کار روزانه‌اش این است که خبر مدل‌های زبانی، ابزارهای جدید و ادعاهای پرزرق‌وبرق شرکت‌ها را به زبان قابل‌استفاده برای مخاطب ایرانی برگرداند؛ بدون هیجان کاذب و بدون ترساندن بی‌دلیل.
میز کارش دو بخش است: هوش مصنوعی، و فناوری و تکنولوژی روز — نرم‌افزار، اینترنت و تغییراتی که روی کار و زندگی دیجیتال اثر می‌گذارند. قبل از نوشتن معمولاً می‌پرسد «برای کاربر چه فرقی می‌کند؟» و همان را محور مطلب می‌گذارد.
اوپن‌ای راه‌حل مسئلهٔ ناویه–استوکس هزاره را با مدل داخلی منتشر کرد
گیت‌هاب ران‌تایم Copilot را با عامل‌های هوش مصنوعی به Rust برد
آنتروپیک: کلود بیش از ۳۰ مدل زیست‌مولکولی را حدود ۴ برابر شتاب داد
نظرات کاربران