افزایش نگرانی‌ها درباره کیفیت گزارش‌های امنیتی ناشی از هوش مصنوعی در صنعت سایبری
در سال‌های اخیر، اصطلاح «هرج و مرج هوش مصنوعی» (AI slop) به طور فزاینده‌ای در دنیای مجازی رایج شده است. این واژه به محتوای کم‌کیفیت نظیر تصاویر، ویدیوها و متون تولیدشده توسط مدل‌های زبانی بزرگ (LLM) اشاره دارد که به سایت‌ها، شبکه‌های اجتماعی و حتی رویدادهای واقعی آسیب می‌زند. به تازگی، این مشکل در حوزه امنیت سایبری نیز به شکل قابل توجهی نمایان شده است.
در یک سال گذشته، فعالان صنعت امنیت سایبری هشدارهایی درباره گزارش‌های باگ بونتی تولیدشده توسط هوش مصنوعی مطرح کرده‌اند. این گزارش‌ها ادعا می‌کنند که حاوی آسیب‌پذیری‌هایی هستند که عملاً وجود ندارند و به طور کلی با استفاده از مدل‌های زبانی بزرگ، اطلاعات نادرستی تولید شده‌اند و در قالب گزارش‌های حرفه‌ای ارائه می‌گردند. ولاد ایونسکو، یکی از بنیان‌گذاران و CTO شرکت RunSybil که در زمینه کاوش آسیب‌پذیری‌های مبتنی بر هوش مصنوعی فعالیت می‌کند، به نشریه TechCrunch گفت: «افراد گزارش‌هایی دریافت می‌کنند که به نظر منطقی و از لحاظ فنی درست می‌آید. اما پس از بررسی دقیق متوجه می‌شوند که آسیب‌پذیری وجود ندارد و فقط تصورات نادرستی بوده است که توسط مدل‌های زبانی بزرگ ساخته شده‌اند.»
ایونسکو به این نکته اشاره کرد که مشکلات ناشی از این موضوع در اینجا نهفته است که مدل‌های زبانی بزرگ به گونه‌ای طراحی شده‌اند که پاسخ‌های مثبت و مفیدی ارائه دهند. «اگر از این مدل‌ها برای یک گزارش درخواست کنید، به شما یک گزارش ارائه می‌دهند. و سپس افراد این گزارش‌ها را به پلتفرم‌های باگ بونتی کپی و پیست می‌کنند و این موضوع منجر به اشباع این پلتفرم‌ها می‌شود.»
تجربه‌های واقعی نشان می‌دهند که این مشکل تا چه اندازه جدی است. هری سینتونن، یکی از پژوهشگران امنیتی، گزارشی مبنی بر دریافت یک گزارش جعلی از پروژه امنیتی متن‌باز Curl ارائه کرد و گفت: «Curl می‌تواند هرج و مرج هوش مصنوعی را از فاصله‌ی زیادی شناسایی کند.»
سایر فعالان این حوزه نیز از این مشکل شکایت می‌کنند. بنجامین پیوفل از Open Collective، که پلتفرمی فناوری برای سازمان‌های غیر انتفاعی است، اعلام کرد که آنها نیز با همین مشکل مواجه هستند و صندوق پستی آنها «پر از زباله‌های هوش مصنوعی» است.
طبق اطلاعات به‌دست‌آمده از TechCrunch، پلتفرم‌های برتر باگ بونتی که به‌عنوان واسطه‌ای بین هکرها و شرکت‌ها عمل می‌کنند، با افزایش چشمگیری در گزارش‌های تولیدشده توسط هوش مصنوعی روبرو شده‌اند. در همین راستا، میشیل پرینس، یکی از بنیان‌گذاران و مدیر ارشد محصول در HackerOne، تاکید کرد که این شرکت با افزایش گزارش‌های نادرست مواجه شده است.
ایونسکو پیش‌بینی می‌کند که یکی از راه‌حل‌های این مشکل، سرمایه‌گذاری در سیستم‌های هوش مصنوعی پیشرفته خواهد بود که قادر به انجام بررسی‌های اولیه و فیلتر کردن گزارش‌ها برای دقت بیشتر هستند. به تازگی، HackerOne سیستم جدیدی به نام Hai Triage را راه‌اندازی کرد که ترکیبی از انسان و هوش مصنوعی را برای بررسی و طبقه‌بندی تهدیدات واقعی به کار می‌گیرد.
با افزایش استفاده از مدل‌های زبانی بزرگ از سوی هکرها و اتکای شرکت‌ها به هوش مصنوعی برای دسته‌بندی گزارش‌ها، آینده‌ی این تعامل و تأثیرات آن بر کیفیت گزارش‌ها همچنان در هاله‌ای از ابهام باقی مانده است.