در دنیای امروز که شرکت‌ها به‌طور فزاینده‌ای به دنبال ایجاد و پیاده‌سازی کاربردها و خدمات مبتنی بر هوش مصنوعی نسل‌ساز برای استفاده داخلی یا خارجی هستند، یکی از چالش‌های اصلی آنها درک عملکرد این ابزارهای هوش مصنوعی در شرایط واقعی است. بر اساس یک نظرسنجی اخیر که توسط شرکت مشاوره مک‌کینزی و همکاران انجام شده، تنها ۲۷ درصد از ۸۳۰ پاسخ‌دهنده اظهار داشتند که شرکت‌هایشان تمام خروجی‌های سیستم‌های هوش مصنوعی نسل‌ساز خود را قبل از ارائه به کاربران مرور می‌کنند. به جز در مواقعی که کاربران گزارشی در مورد شکایتی ارائه دهند، چگونه یک شرکت می‌تواند از عملکرد محصولات هوش مصنوعی خود مطمئن شود؟
استارتاپ جدیدی به نام “رین‌درآپ” (Raindrop)، که پیش‌تر با نام “داون AI” شناخته می‌شد، به‌صورت جدی به این چالش پرداخته و خود را به‌عنوان اولین پلتفرم رصد عملکرد هوش مصنوعی در مراحل تولید معرفی کرده است. این پلتفرم با شناسایی خطاها در حین وقوع و توضیح دلایل آن، به شرکت‌ها کمک می‌کند تا به حل مشکل معروف به “جعبه سیاه هوش مصنوعی” بپردازند.
بن هایلاک، یکی از بنیان‌گذاران رین‌درآپ، در توییتی نوشت: “محصولات هوش مصنوعی به‌طور مکرر در اشکال خنده‌دار و ترسناک شکست می‌خورند. نرم‌افزارهای معمول استثناها را نشان می‌دهند، اما محصولات هوش مصنوعی به‌صورت خاموش شکست می‌خورند.” رین‌درآپ می‌کوشد ابزاری مشابه آنچه شرکت رصد Sentry در نرم‌افزارهای سنتی ارائه می‌دهد، برای هوش مصنوعی ایجاد کند. در حالی که ابزارهای سنتی شناسایی استثناها نمی‌توانند رفتارهای دقیق و پیچیده مدل‌های زبان بزرگ یا همیاران هوش مصنوعی را شناسایی کنند، رین‌درآپ تلاش دارد تا این شکاف را پر کند.
رین‌درآپ مجموعه‌ای از ابزارها را ارائه می‌دهد که به تیم‌های بزرگ و کوچک این امکان را می‌دهد تا مشکلات هوش مصنوعی را در زمان واقعی شناسایی، تحلیل و پاسخ دهند. این پلتفرم در تقاطع تعاملات کاربر و خروجی‌های مدل‌ها قرار دارد و با تحلیل الگوها در صدها میلیون رویداد روزانه و با استفاده از رمزگذاری SOC-2، داده‌ها و حریم خصوصی کاربران و شرکت‌ها را محافظت می‌کند.
رین‌درآپ ابزاری برای شناسایی و تحلیل رفتارهای کاربران نظیر نارضایتی، شکست وظایف، و خطاهای حافظه فراهم می‌کند و با استفاده از سیگنال‌های بازخورد، به شناسایی مسائل می‌پردازد. زوبین سینگ کودیچا، یکی دیگر از بنیان‌گذاران و مدیرعامل رین‌درآپ، در مصاحبه‌ای گفت: “بسیاری از شرکت‌ها به ارزیابی‌ها و آزمون‌های واحد برای بررسی قابلیت اطمینان راه‌حل‌های هوش مصنوعی خود تکیه دارند، در حالی که ابزارهای کمی برای بررسی خروجی‌های هوش مصنوعی در مراحل تولید طراحی شده است.”
برای شرکت‌های فعال در صنایع با مقررات سختگیرانه یا آنهایی که به دنبال سطوح اضافی حریم خصوصی و کنترل هستند، رین‌درآپ نسخه‌ای به نام “نوتیفای” ارائه می‌دهد که به‌صورت کاملاً محلی و با رویکرد حریم خصوصی اول طراحی شده است. این نمونه هیچ داده‌ای را ذخیره نمی‌کند و تمام پردازش‌ها در زیرساخت مشتری انجام می‌شود.
رین‌درآپ با استفاده از یک پایپ‌لاین یادگیری ماشین که ترکیبی از خلاصه‌سازی قدرتمند مدل‌های بزرگ زبان و طبقه‌بندی‌کننده‌های کوچک بهینه‌سازی شده برای مقیاس می‌باشد، به شناسایی و تحلیل مشکلات می‌پردازد. همچنین هر محصول هوش مصنوعی که رین‌درآپ رصد می‌کند، به‌عنوان یک مورد منحصربه‌فرد مورد توجه قرار می‌گیرد و این پلتفرم به‌طور دینامیک با توجه به اطلاعات جدید به‌روزرسانی می‌شود.
رین‌درآپ به‌عنوان یک ابزار نوآورانه در رصد عملکرد هوش مصنوعی، به شرکت‌ها کمک می‌کند تا مشکلات پنهان را قبل از آنکه به تجربه کاربری منفی بیانجامد شناسایی کنند. این ابزار به‌وضوح نشان می‌دهد که ابزارهای لازم برای ساخت هوش مصنوعی بایستی هم‌زمان با مدل‌ها تکامل یابند. در واقع، رین‌درآپ در تلاش است تا برای هوش مصنوعی همان کاری را کند که Sentry برای وب‌اپلیکیشن‌ها انجام داد، با این تفاوت که در حال حاضر خطرات شامل توهم‌زایی، امتناع‌ها و ناسازگاری نیت هستند.