عنوان: جنجال جدید درباره روشهای دسترسی هوش مصنوعی به وبسایتها
اخیراً، شرکت Cloudflare به موتور جستجوی هوش مصنوعی Perplexity متهم شد که به طور غیرقانونی و بدون رعایت روشهای مسدودکنندهای که برخی وبسایتها برای جلوگیری از دسترسی رباتها به کار میبرند، به جستجو در اینترنت میپردازد. این ادعا به سرعت مورد بحث و جدل قرار گرفت و بسیاری از کاربران به دفاع از Perplexity پرداختند. آنها معتقدند که دسترسی Perplexity به وبسایتها، اگرچه ممکن است بحثبرانگیز باشد، اما پذیرفتنی است و این موضوع به طور قطع به چالشی بزرگتر تبدیل خواهد شد: آیا باید عامل هوش مصنوعی که به نمایندگی از یک کاربر به وبسایتی دسترسی پیدا میکند، به عنوان ربات در نظر گرفته شود یا به عنوان یک انسان که همان درخواست را انجام میدهد؟
Cloudflare به عنوان یک ارائهدهنده خدمات امنیتی وب و مقابله با فعالیتهای رباتی، آزمایشی را انجام داد که در آن یک وبسایت جدید با دامنهای تازه راهاندازی شد که هرگز توسط هیچ رباتی خزیده نشده بود. آنها فایل robots.txt را تنظیم کردند تا دسترسی رباتهای هوش مصنوعی Perplexity را مسدود کنند و سپس از Perplexity درباره محتوای این وبسایت سوال کردند. نتایج نشان داد که Perplexity از یک مرورگر عمومی برای انجام این اقدام استفاده کرده که به طور مشخص به تقلید از Google Chrome بر روی macOS طراحی شده بود.
Matthew Prince، مدیر عامل Cloudflare، در واکنش به این موضوع در پلتفرم X اعلام کرد: «بسیاری از شرکتهای هوش مصنوعی به طرز نادرستی رفتار میکنند و باید آنها را معرفی، شرمنده و به شدت مسدود کرد.» اما طرفداران Perplexity در پلتفرمهای مختلف این ادعای Prince را رد کردند و به این نکته اشاره کردند که دسترسی Perplexity به وبسایتهای خاص تنها زمانی اتفاق افتاده که کاربر درباره آن وبسایت سوال کرده است.
نماینده Perplexity پیشتر به TechCrunch اعلام کرده بود که این رباتها متعلق به شرکت نیستند و پست وبلاگ Cloudflare را به عنوان تلاشی برای فروش خدمات خود قلمداد کرده بود. در ادامه، Perplexity در دفاع از خود و به طور کلی به انتقاد از Cloudflare پرداخت و ادعا کرد که رفتار مورد نظر ناشی از یک سرویس شخص ثالث است که گاهی از آن استفاده میکند. Perplexity همچنین تاکید کرد که تفاوت میان خزیدن خودکار و دسترسی مبتنی بر کاربر تنها یک تفاوت فنی نیست، بلکه به این بستگی دارد که چه کسی مجاز به دسترسی به اطلاعات در اینترنت باز است.
موضوع دسترسی رباتها به وبسایتها و تاثیر آن بر فعالیتهای آنلاین، به خصوص برای وبسایتهای کوچک، به سرعت در حال افزایش است. طبق گزارشها، فعالیت رباتها اکنون بیش از فعالیت انسانها در اینترنت است و بیش از 50 درصد ترافیک اینترنتی به رباتهای هوش مصنوعی اختصاص دارد. در این وضعیت، وبسایتها باید به دقت تصمیمگیری کنند که آیا باید به راههای جدید دسترسی رباتها به محتوا واکنش نشان دهند یا خیر.
در نهایت، این بحث نیازی مبرم به توجه دارد: آیا رباتهای هوش مصنوعی که به دنبال محتوای وب هستند، باید با یکدیگر مشابه و به یک شکل رفتار کنند یا اینکه نشانهای از نادیدهگرفتن حقوق وبسایتها به شمار میروند؟ زمان نشان خواهد داد که این چالشی بزرگ در عرصه فناوری و وبسایتها ادامه خواهد یافت.