ربات‌های وب‌خزنده هوش مصنوعی به‌عنوان “سوسک‌های اینترنت” شناخته می‌شوند؛ این دیدگاه بسیاری از توسعه‌دهندگان نرم‌افزار است. برخی از آن‌ها به روش‌های خلاقانه و بعضاً طنزآمیز به مقابله با این ربات‌ها روی آورده‌اند. در حالی که هر وب‌سایتی ممکن است مورد هدف رفتار نامطلوب خزنده‌ها قرار گیرد و حتی گاهی باعث اختلال در سایت شود، توسعه‌دهندگان منبع‌باز بیش از بقیه تحت تأثیر قرار می‌گیرند. نیکولو ونراندی، توسعه‌دهنده محیط دسکتاپ لینوکس معروف به پلما و مالک وبلاگ لیبرنیوز، می‌گوید: سایت‌های میزبانی پروژه‌های منبع‌باز (FOSS) به دلیل ماهیتشان زیرساخت‌های خود را به‌صورت عمومی به اشتراک می‌گذارند و به علاوه، منابع کمتری نسبت به محصولات تجاری دارند.
مشکل اصلی این است که بسیاری از ربات‌های هوش مصنوعی پروتکل استثنای ربات‌ها (robot.txt) را نادیده می‌گیرند؛ ابزاری که جهت راهنمایی ربات‌ها برای خزیدن یا نخزیدن در سایت‌ها ایجاد شده است. در یک پست بلاگی در ژانویه، توسعه‌دهنده منبع‌باز Xe Iaso اعلام کرد که چگونه ربات AmazonBot به‌طور مداوم به یک سایت سرور Git حمله کرد و باعث ایجاد اختلال‌های DDoS شد. سرورهای Git پروژه‌های FOSS را برای دانلود و یا مشارکت در آن‌ها میزبانی می‌کنند. این ربات، فایل robot.txt Iaso را نادیده گرفت، پشت دیگر آدرس‌های IP پنهان شد و خود را به‌عنوان کاربران دیگر جا زد. Iaso اظهار داشت: “مسدود کردن ربات‌های خزنده هوش مصنوعی بیهوده است زیرا آن‌ها دروغ می‌گویند، شناسه کاربری خود را تغییر می‌دهند، از IPهای مسکونی به‌عنوان پروکسی استفاده می‌کنند و موارد دیگر.”
Iaso با استفاده از هوشمندی خود به مقابله پرداخت و ابزاری به نام Anubis ایجاد کرد. Anubis یک پروکسی معکوس با چک کردن اثبات کار است که قبل از دریافت درخواست‌ها توسط سرور Git، آن را بررسی می‌کند. این ابزار ربات‌ها را مسدود می‌کند اما مرورگرهای انسانی را مجاز می‌شمارد. جالب اینکه، Anubis نام خدای مصری است که مردگان را به قضاوت می‌برد. اگر یک درخواست وب همان گونه که باید بشری باشد، تصویری جذاب از انیمه موفقیت را نشان می‌دهد. اگر ربات باشد، درخواست رد می‌شود.
پروژه با نام خنده‌دار Anubis چنان در جامعه FOSS محبوبیت پیدا کرده که به باد می‌پیچید. Iaso آن را در ۱۹ مارس در GitHub منتشر کرد و تنها در چند روز، ۲۰۰۰ ستاره، ۲۰ مشارکت‌کننده و ۳۹ فورک جمع‌آوری کرد. محبوبیت فوری Anubis نشان می‌دهد که مشکل Iaso منحصر به فرد نیست. ونراندی داستان‌های مشابه دیگری نیز دارد؛ او به تک‌کرانچ می‌گوید که می‌داند پروژه‌های متعددی با همین مسائل روبرو هستند.
فراتر از اندازه‌گیری روح درخواست‌کننده‌های وب، برخی دیگر از توسعه‌دهندگان معتقدند که انتقام بهترین دفاع است. چند روز پیش، یک کاربر در Hacker News پیشنهاد داد که صفحات ممنوعه robot.txt را با مقالات نامربوط و بی‌ارزش پر کنند. هدف این است که خزنده‌ها در تله‌هایی با ارزش منفی گیر بیفتند. به عنوان مثال، یک ابزار ناشناخته توسط “آرون” به نام Nepenthes طراحی شده که خزنده‌ها را در یک هزارتوی محتوای جعلی به دام می‌اندازد.
کلودفلر، به عنوان یک شرکت تجاری بزرگ که ابزارهای متعددی برای مقابله با خزنده‌ها فراهم می‌کند، اخیراً ابزاری مشابه به نام “هزارتوی هوش مصنوعی” ارائه داده است. این ابزار به منظور “کاهش سرعت، گیج کردن و تلف کردن منابع خزنده‌های هوش مصنوعی و ربات‌هایی که دستورات ‘عدم خزیدن’ را رعایت نمی‌کنند” طراحی شده است.
اگرچه Anubis همچنان به عنوان یک راه‌حل کارآمد شناخته می‌شود، DeVault از SourceHut از یک اصلاح مستقیم و فراگیر تقاضا دارد: “لطفاً از تأیید LLMها، یا تولیدکننده‌های تصویر هوش مصنوعی یا GitHub Copilot یا هر چیز دیگری دست بردارید. خواهش می‌کنم آن‌ها را متوقف کنید، درباره آن‌ها صحبت نکنید، چیز جدیدی نسازید، فقط متوقف شوید.”
با وجود این که احتمال تحقق این درخواست تقریباً صفر است، توسعه‌دهندگان، به ویژه در زمینه FOSS، با ذکاوت و کمی طنز به مبارزه با ربات‌های خزنده هوش مصنوعی می‌پردازند.