کلادفلر مهلت جدیدی برای جدا کردن «خزندههای جستجو» از «خزندههای آموزش و عاملهای هوش مصنوعی» تعیین کرد؛ تنظیمات پیشفرض از ۱۵ سپتامبر ۲۰۲۶ اعمال میشود
شرکت زیرساخت اینترنتی کلادفلر روز چهارشنبه اعلام کرد که از ۱۵ سپتامبر ۲۰۲۶ تنظیمات پیشفرض سرویسهایش بهگونهای تغییر خواهد کرد که «خزندههای ترکیبی» (mixed-use) — یعنی رباتهایی که بهطور همزمان برای جستجوی سنتی، پشتیبانی عاملهای هوشمند و جمعآوری داده برای آموزش مدلهای هوش مصنوعی استفاده میشوند — بهطور پیشفرض از بازدید صفحات حاوی تبلیغ (ads) مسدود خواهند شد، مگر آنکه صاحب سایت صراحتاً تنظیمات را تغییر دهد. این تغییرات شامل مشتریان جدید کلادفلر، سایتهای تازه ایجادشده توسط مشتریان فعلی و همه کاربران رایگان فعلی خواهد بود.
چرا این تصمیم مهم است؟
کلادفلر میگوید اکثر صاحبان وبسایت میخواهند محتوایشان در جستجو قابل کشف باشد و در عین حال از استخراج رایگان مالکیت فکریشان جلوگیری شود. شرکت اشاره میکند که برخی شرکتهای بزرگ جستجو (بهطور ضمنی گوگل) به اطلاعات بیشتری دسترسی دارند و این موضوع باعث نابرابری در دسترسی مدلهای هوش مصنوعی به محتوای وب شده است. در مقابل، گوگل پیشتر ابراز داشته که با ابزارهایی مانند Google Extended به صاحبان سایت امکان میدهد تا استفاده از محتوایشان در آموزش مدلها و محصولات هوشمصنوعی را غیرفعال کنند، بدون آنکه در حضور در نتایج جستجوی گوگل تأثیری ایجاد شود. با این حال، Googlebot بهعنوان خزنده اصلی گوگل همچنان برای جمعآوری محتوا جهت نمایش در قابلیتهایی مثل AI Overviews و حالت AI استفاده میشود.
پیام کلادفلر و تبعات برای ناشران و شرکتهای هوش مصنوعی
متیو پرینس، همبنیانگذار و مدیرعامل کلادفلر، در توضیح این تصمیم گفت که با توجه به عبور ترافیک رباتها از ترافیک انسانی در اینترنت، باید سریعتر و جدیتر اقدام شود تا زیستبومی پایدار برای ناشران و خدمات هوش مصنوعی شکل بگیرد. کلادفلر میگوید هدفش ارائه شفافیت بیشتر و فرصتهای تجاری برای ناشران است و امیدوار است که تنظیمات پیشفرض جدید شرکتها را تشویق کند تا خزندههای ترکیبی خود را جدا کنند: یکی برای جستجو، دیگری برای عاملها و دیگری برای آموزش مدلها.
ابزارها و مدلهای درآمدزایی برای ناشران
کلادفلر در سالهای اخیر ابزارهایی برای کنترل بهتر ناشران عرضه کرده است؛ از جمله بازارچهای برای دریافت هزینه از رباتهای هوش مصنوعی هنگام خراشیدن محتوا (Pay Per Crawl). این مدل اکنون در حال تکامل به «Pay Per Use» است که به ناشران اجازه میدهد زمانی که محتوایشان برای تولید ارزش توسط شرکتهای هوش مصنوعی استفاده میشود، درآمد کسب کنند نه صرفاً هنگام واکشی صفحه. این اقدام میتواند به صرفهجویی در پهنای باند و منابع محاسباتی ناشران کمک کند؛ چرا که گزارشهای کلادفلر نشان میدهد بیش از ۵۰ درصد ترافیک خزندههای هوش مصنوعی صرف دوبارهخوانی صفحاتی میشود که تغییری نکردهاند.
همکاریها و پیادهسازی اولیه
کلادفلر اعلام کرده که در فاز نخست با دو شریک Ceramic.ai و You.com همکاری میکند: ناشرانی که در این برنامه شرکت کنند، هنگامی که محتوایشان در نتایج جستجوی هوش مصنوعی Ceramic ظاهر شود یا وقتی You.com به محتوای ممتازشان دسترسی پیدا میکند، پرداخت دریافت خواهند کرد. سایر شرکتهای هوش مصنوعی نیز میتوانند مدلهای مشابهی را مطابق نیاز خود سفارشی کنند.
توصیههایی برای صاحبان وبسایت
– بررسی و بهروزرسانی تنظیمات کلادفلر و robots.txt برای تعیین سیاست موردنظر در مورد خزندهها.
– نظارت بر لاگهای خزش و پهنای باند برای شناسایی رفتار خزندههای ترکیبی و کاهش هزینههای اضافی.
– ارزیابی گزینههای درآمدزایی جدید مانند Pay Per Use برای محافظت از حقوق مالکیت فکری و ایجاد جریان درآمدی جدید.
نتیجهگیری
اقدام کلادفلر گامی مهم در جهت تفکیک کاربردهای مختلف خزندهها و دادن کنترل بیشتر به ناشران است. این تغییر میتواند نحوه دسترسی شرکتهای هوش مصنوعی به محتوای وب و مدلهای کسبوکاری ناشران را دگرگون کند؛ بنابراین صاحبان سایتها و توسعهدهندگان مدلهای هوش مصنوعی باید در ماههای آتی برای هماهنگی با تنظیمات جدید برنامهریزی و آمادهسازی کنند.