تغییر رویکرد در کاهش توهمات هوش مصنوعی؛ معرفی فناوری جدید Vectara
هوش مصنوعی در حال تبدیل شدن به یکی از ابزارهای کلیدی در عملیاتی کردن فرآیندهای تجاری است، اما یکی از چالش‌های جدی در این حوزه، پدیده‌ای به نام توهمات (Hallucinations) است که می‌تواند هزینه‌های سنگینی را به سازمان‌ها تحمیل کند. برای مقابله با این بحران، بسیاری از سازمان‌ها به راه‌حل‌های متنوعی روی آورده‌اند که در این میان، شرکت Vectara با رویکردی نوآورانه در تلاش است تا این مشکل را به‌طور مؤثر حل کند.
Vectara که در زمینه بازیابی اطلاعات فعالیت دارد، اولین‌بار با مفهوم “تولید پاسخ‌های تقویت‌شده” یا Retrieval Augmented Generation (RAG) شناخته شد. این رویکرد به منظور کاهش توهمات با استفاده از اطلاعات موجود در محتوای ارائه‌شده طراحی شده است. اگرچه RAG می‌تواند در کاهش توهمات مؤثر باشد، اما همچنان وقوع این پدیده در برخی موارد مشهود است.
در این راستا، Vectara یک راه‌حل اساسی جدید به نام “اصلاح‌کننده توهمات Vectara” معرفی کرده است که توسط عامل‌های محافظ (Guardian Agents) توهمات را به‌طور خودکار شناسایی، توضیح و اصلاح می‌کند. این عوامل نرم‌افزاری به‌عنوان ناظر در جریان‌های کاری هوش مصنوعی عمل می‌کنند و به‌جای حذف ساده یا رد محتوا، اصلاحات دقیقی را انجام می‌دهند و توضیحات مفصلی در خصوص تغییرات اعمال‌شده ارائه می‌دهند.
طبق ادعای Vectara، این سیستم می‌تواند نرخ توهمات را در مدل‌های زبانی کوچک‌تر با پارامترهای زیر ۷ میلیارد به کمتر از ۱ درصد کاهش دهد. اوا ناهاری، مدیر محصول این شرکت، در مصاحبه‌ای گفت: “ما به‌دنبال توسعه هوش مصنوعی قابل اعتماد هستیم و انتشار عامل‌های محافظ جدید به این هدف کمک خواهد کرد.”
در میان گزینه‌های مختلف موجود برای کاهش توهمات، Vectara با تأکید بر اصلاحات دقیق و مبتنی بر زمینه‌های خاص، به‌دنبال ایجاد تعادل میان دقت و خلاقیت در نتایج هوش مصنوعی است. به‌عنوان مثال، تصحیح محتوای ادبی داستانی باید با دقت و بر اساس زمینه انجام شود تا تفاسیر نادرست به‌وجود نیاید.
همچنین، Vectara به‌تازگی HCMBench، یک مجموعه ارزیابی متن‌باز برای مدل‌های اصلاح توهمات را معرفی کرده است. این ابزار به ارزیابی دقت عملکرد مختلف روش‌های اصلاح توهمات کمک می‌کند و فضایی استاندارد را برای جامعه فراهم می‌آورد.
بنابراین، با توجه به پیشرفت تکنولوژی‌های اصلاح توهمات، سازمان‌ها قادر خواهند بود تا هوش مصنوعی را در زمینه‌های تجاری حساس به‌کار ببرند و استانداردهای دقت مورد نیاز خود را حفظ کنند. با توجه به روند انتقال به کارکردهای پیچیده‌تر هوش مصنوعی، رویکرد Vectara می‌تواند تحولی در این حوزه به‌وجود آورد.