تحقیقات جدید نشان می‌دهد که شیوه‌های جدید هوش مصنوعی می‌توانند به‌طور غیرمنتظره‌ای ایمنی مدل‌های زبانی بزرگ (LLMs) را تحت تأثیر قرار دهند. بر اساس مقاله‌ای که امروز توسط بلومبرگ منتشر شد و با عنوان «مدل‌های زبانی بزرگ RAG ایمن‌تر نیستند: تحلیل ایمنی نسل افزوده بازیابی برای مدل‌های زبانی بزرگ» مشخص شد که استفاده از روش Retrieval Augmented Generation (RAG) در برخی موارد می‌تواند باعث ایجاد پاسخ‌های ناامن شود.
تحقیقات بلومبرگ که ۱۱ مدل زبانی بزرگ از جمله Claude-3.5-Sonnet، Llama-3-8B و GPT-4o را ارزیابی کرده، به طور شگفت‌انگیزی این باورهای رایج را به چالش می‌کشد که RAG به طور ذاتی ایمنی سیستم‌های هوش مصنوعی را افزایش می‌دهد. تیم تحقیقاتی بلومبرگ دریافت که مدل‌هایی که در شرایط عادی به سؤالات مضر پاسخ نمی‌دهند، هنگامی که از RAG استفاده می‌شود، ممکن است به سؤالات خطرناک پاسخ دهند.
در کنار این پژوهش، بلومبرگ مقاله‌ای دیگر به نام «درک و کاهش خطرات هوش مصنوعی تولیدی در خدمات مالی» منتشر کرد که یک طبقه‌بندی ریسک محتوا برای خدمات مالی ارائه می‌دهد. این طبقه‌بندی به مشکلات خاص این حوزه می‌پردازد و غفلت‌های رویکردهای ایمنی عمومی را نشان می‌دهد.
سباستین گره‌مان، رئیس هوش مصنوعی مسئول بلومبرگ، اظهار داشت: «سیستم‌ها باید در زمینه‌ای که در آن مستقر شده‌اند ارزیابی شوند و نمی‌توانید فقط به ادعای دیگران درباره ایمنی مدل‌ها اعتماد کنید.» استفاده از RAG به عنوان ابزاری برای ارائه محتوای متکی و دقیق میان تیم‌های هوش مصنوعی سازمان‌ها رایج است، اما تحقیقات اخیر نشان می‌دهد که این روش ممکن است باعث بروز ناامنی‌های غیرمنتظره شود.
به عنوان مثال، درصد پاسخ‌های ناامن Llama-3-8B از ۰.۳٪ به ۹.۲٪ افزایش یافته است هنگامی که RAG به کار گرفته می‌شود. گره‌مان افزود که سیستم‌های ایمنی معمولاً برای جلوگیری از پرسش‌های خطرناک طراحی شده‌اند، اما در شرایط استفاده از RAG، این مکانیزم‌ها ممکن است کارایی خود را از دست دهند.
تحقیقات فراتر از مدل‌های ایمنی عمومی پیش‌رفته و به سمت ریسک‌های خاص شغلی حرکت می‌کند. بلومبرگ با استفاده از طبقه‌بندی‌های خاص خود، نیاز به ایجاد چارچوب‌های ریسک مختص صنایع خاص را تأکید می‌کند تا بتوانند به‌طور مؤثری به مشکلات خاص حوزه خود پاسخ دهند.
نتیجه‌گیری کلیدی از این تحقیقات این است که سازمان‌ها باید طبقه‌بندی ریسک خاص صنعت خود را ایجاد کنند تا بتوانند به الزامات نظارتی معتبر دست یابند. این تغییر رویکرد به امنیت، ممکن است از یک الزام قانونی به یک مزیت رقابتی تبدیل شود که مشتریان و نهادهای نظارتی به آن توجه ویژه‌ای خواهند داشت.
با توجه به پیچیدگی‌های روزافزون استفاده از AI در فرآیندهای کاری بحرانی، ضروری است که رهبران صنعت امنیت را از یک وظیفهCompliance به یک عنصر حیاتی در طراحی و پیاده‌سازی سیستم‌های هوش مصنوعی تبدیل کنند.