شرکت Cloudflare، یکی از ارائه‌دهندگان زیرساخت‌های ابری که ۲۰ درصد از وب را پشتیبانی می‌کند، روز سه‌شنبه از راه‌اندازی یک بازار جدید خبر داد که به تجدید نظر در رابطه بین مالکان وب‌سایت‌ها و شرکت‌های هوش مصنوعی می‌پردازد و به‌طوری ایده‌آل، به ناشران قدرت بیشتری در کنترل محتوای خود می‌دهد. به‌مدت یک سال، Cloudflare ابزارهایی برای ناشران راه‌اندازی کرده است تا با افزایش روزافزون ربات‌های هوش مصنوعی مقابله کنند، از جمله یک راه‌حل یک‌کلیک برای مسدود کردن تمام ربات‌های هوش مصنوعی و همچنین یک داشبورد برای مشاهده نحوه بازدید ربات‌های هوش مصنوعی از وب‌سایتشان.
در یک مصاحبه در سال ۲۰۲۴، متیو پرینس، مدیرعامل Cloudflare به TechCrunch گفت که این محصولات، زمینه‌ساز نوعی جدید از بازار هستند که در آن ناشران می‌توانند محتوای خود را به شرکت‌های هوش مصنوعی توزیع کرده و بابت آن جبران شوند. اکنون، Cloudflare این بازار را به‌طور رسمی ایجاد کرده است. این بازار با نام “Pay per Crawl” (پرداخت به ازای خزیدن) معرفی شده و Cloudflare این “آزمایش” را از روز سه‌شنبه به‌صورت بتا خصوصی آغاز کرده است.
مالکان وب‌سایت‌ها در این تجربه می‌توانند تصمیم بگیرند که آیا اجازه می‌دهند ربات‌های هوش مصنوعی به‌طور جداگانه از سایت‌شان بازدید کنند و برای هر “خزیدن” یک مبلغ معین بپردازند. به‌علاوه، آنها می‌توانند انتخاب کنند که آیا ربات‌های هوش مصنوعی به‌طور رایگان به محتوای آنان دسترسی داشته باشند یا آنها را به‌طور کلی مسدود کنند. Cloudflare ادعا می‌کند که ابزارهایش به مالکان وب‌سایت‌ها این امکان را می‌دهد که ببینند آیا ربات‌ها برای جمع‌آوری داده‌های آموزشی هوش مصنوعی، به‌منظور نمایش در پاسخ‌های جستجوی هوش مصنوعی یا مقاصد دیگر از وب‌سایتشان بازدید می‌کنند یا خیر.
این بازار در مقیاس بزرگ، ایده‌ای بزرگ به‌شمار می‌رود که می‌تواند یک مدل تجاری جدید برای ناشران در عصر هوش مصنوعی ارائه دهد و در عین حال Cloudflare را در مرکز این تحولات قرار دهد. راه‌اندازی این بازار در زمانی صورت می‌گیرد که ناشران خبری با سوالات مهمی درباره چگونگی جذب خوانندگان روبه‌رو هستند؛ در حالی که ترافیک جستجوی گوگل در حال کاهش است و محبوبیت ربات‌های چت هوش مصنوعی در حال افزایش است.
پاسخ واضحی برای بقاء ناشران خبری در عصر هوش مصنوعی وجود ندارد. برخی از ناشران، مانند نیویورک تایمز، به‌دلیل استفاده شرکت‌های فناوری از مقالات خبری برای آموزش مدل‌های هوش مصنوعی بدون اجازه، اقدام به شکایت کرده‌اند. در عوض، برخی دیگر تجارت‌های چند ساله‌ای برای مجوز دادن به محتوای خود به‌منظور آموزش مدل‌های هوش مصنوعی و حضور در پاسخ‌های ربات‌های چت هوش مصنوعی منعقد کرده‌اند. به هر حال، تنها ناشران بزرگ تاکنون قراردادهای مجوز هوش مصنوعی را منعقد کرده‌اند و هنوز مشخص نیست آیا این قراردادها منابع درآمد معناداری فراهم می‌کنند یا نه.
Cloudflare هدف دارد تا سیستمی مقاوم‌تر ایجاد کند که ناشران بتوانند قیمت‌ها را بر اساس شرایط خود تنظیم کنند. این شرکت همچنین روز سه‌شنبه اعلام کرد که وب‌سایت‌های جدیدی که با Cloudflare راه‌اندازی می‌شوند، به‌طور پیش‌فرض تمامی ربات‌های هوش مصنوعی را مسدود خواهند کرد. مالکان سایت‌ها باید اجازه دسترسی به برخی ربات‌های هوش مصنوعی را صادر کنند که Cloudflare می‌گوید این تغییر به هر دامنه جدید “کنترل پیش‌فرض” می‌دهد.
چندین ناشر بزرگ از جمله Conde Nast، TIME، و تمام نشریات برتر مانند Associated Press و The Atlantic با Cloudflare برای مسدود کردن پیش‌فرض ربات‌های هوش مصنوعی همکاری کرده‌اند تا از هدف کلی این شرکت برای ایجاد رویکردی “اجازه‌محور” نسبت به خزیدن حمایت کنند. مدل تجاری‌ای که بسیاری از این ناشران برای دهه‌ها به آن اتکا داشته‌اند، به‌آهستگی در حال از دست رفتن اعتبار است. ناشران آنلاین به‌طور تاریخی اجازه داده‌اند تا گوگل سایت‌هایشان را خزیده و در عوض، از ارجاعات این موتور جستجو بهره‌مند شوند که منجر به ترافیک و در‌نهایت، درآمد تبلیغاتی می‌شد.
با این حال، داده‌های جدید Cloudflare نشان می‌دهد که ناشران ممکن است در دوران هوش مصنوعی، توافق بهتری نسبت به دوران جستجوی گوگل نداشته باشند. این شرکت دریافته است که ربات خزنده گوگل به‌صورت ۱۴ بار بیشتر از ارجاعاتی که به سایت‌ها می‌دهد، از سایت‌ها بازدید می‌کند. در مقابل، ربات OpenAI به‌طور میانگین ۱۷،۰۰۰ بار و ربات Anthropic به‌طور میانگین ۷۳،۰۰۰ بار به سایت‌ها مراجعه می‌کند. همچنین، OpenAI و گوگل در حال توسعه ماموران هوش مصنوعی هستند که طراحی شده‌اند تا به‌نمایندگی از کاربران به وب‌سایت‌ها مراجعه کنند، اطلاعات جمع‌آوری کرده و آنها را مستقیماً به کاربران ارائه دهند.
Cloudflare خاطرنشان می‌کند که “پتانسیل واقعی” Pay per Crawl در آینده‌ای “عاملیت‌محور” پدیدار می‌شود. به‌عنوان مثال، اگر یک دیوار پرداخت عاملیت‌محور بتواند در لبه شبکه به‌طور کاملاً برنامه‌نویسی‌شده عمل کند، تصور کنید از یک برنامه تحقیق عمیق درخواست کنید تا به شما در تجزیه و تحلیل جدیدترین تحقیقات درباره سرطان یا مستندات قانونی کمک کند، یا فقط به شما در پیدا کردن بهترین رستوران در Soho کمک کند — و سپس به آن عامل یک بودجه اعطا کنید تا بهترین و مرتبط‌ترین محتوا را به‌دست آورد.
برای شرکت در بازار آزمایشی Cloudflare، شرکت‌های هوش مصنوعی و ناشران باید هر دو دارای حساب Cloudflare باشند. در حساب‌های خود، هر دو طرف می‌توانند نرخ‌هایی را که می‌خواهند برای خرید و فروش “خزیدن” محتوای ناشر تعیین کنند. Cloudflare به‌عنوان واسط در این معاملات عمل کرده و به شرکت‌های هوش مصنوعی هزینه را دریافت و درآمد را به ناشران توزیع می‌کند. سخنگوی Cloudflare، رپلی پارک، به TechCrunch گفت که در حال حاضر هیچ ارز دیجیتال یا ارز پایدار در Pay per Crawl دخالت ندارد، هرچند که بسیاری پیشنهاد کرده‌اند که ارز دیجیتال برای چنین مواردی مناسب است.
بازار Cloudflare به‌نظر می‌رسد که یک چشم‌انداز جسورانه برای آینده باشد که نیاز به همکاری زیادی از سوی ناشران و شرکت‌های هوش مصنوعی دارد. با این حال، هیچ تضمینی وجود ندارد که ناشران قراردادهای خوبی دریافت کنند و اقناع شرکت‌های هوش مصنوعی برای شرکت در این طرح ممکن است دشوار باشد، زیرا آنها در حال حاضر به‌طور رایگان از محتوای سایت‌ها استفاده می‌کنند. اما به‌نظر می‌رسد Cloudflare یکی از شرکت‌هایی باشد که در موقعیت مناسبی برای تحقق این بازار قرار دارد.