انتخاب معیارهای موثر برای ارزیابی محصولات هوش مصنوعی
در دنیای پیچیدهٔ محصولات مبتنی بر یادگیری ماشین (ML)، یکی از چالش‌های جدی مدیران محصولات، سنجش کارایی این محصولات است. اخیراً، در یک نشست با تیم‌های مهندسی، سوالی ساده اما کلیدی به بحث گذاشته شد: «چگونه می‌دانیم که این محصول در واقع کار می‌کند؟» این سوال به موضوعاتی مانند شناسایی مشکلات مشتریان و انتخاب معیارهای مناسب برای اندازه‌گیری تأثیر محصولات ذهن‌ها را مشغول کرد.
عدم پیگیری عملکرد مناسب یک محصول مشابه به فرود آوردن یک هواپیما بدون هیچ‌گونه راهنمایی از کنترل ترافیک هوایی است. بدون اطلاعات درباره نقاط قوت و ضعف محصول، نمی‌توان تصمیمات آگاهانه‌ای برای مشتریان اتخاذ کرد. علاوه بر این، اگر اقدام به تعریف معیارهای مشخص نکنید، تیم شما ممکن است معیارهای جایگزین خود را شناسایی کند. این ممکن است منجر به ظهور چندین نسخه از معیار «دقت» یا «کیفیت» شود که هریک از اعضای تیم خود به سمت نتایج متفاوتی حرکت می‌کنند.
گام اول در راستای تعریف معیارها، شفاف‌سازی سوالاتی است که می‌خواهید درباره تأثیر محصول بر روی مشتریان بپرسید. شناسایی گزینه‌های مناسب برای سنجش میزان موفقیت مدل‌ها کار را آسان‌تر می‌کند. به عنوان مثال، سنجش میزان پذیرش مشتریان از راهکارهای پیشنهادی می‌تواند نتیجه‌گیری‌های نادرستی را به دنبال داشته باشد.
با گذر به عصر مدل‌های زبانی بزرگ (LLMs)، ابعاد محصولات نیاز به معیارهای بیشتری دارند. به همین دلیل، ایجاد سوالات کلیدی و زیرسوالات می‌تواند به شناسایی معیارهای موثر کمک کند. معیارهای خروجی، نشانه‌های عقب‌تر هستند که می‌توانند بر اساس رویدادهای گذشته اندازه‌گیری شوند، در حالی که معیارهای ورودی و نشانگرهای پیش‌گویی به شناسایی روندها کمک می‌کنند.
در نهایت، روش جمع‌آوری معیارها نیز حائز اهمیت است. بیشتر معیارها از طریق ابزارهای جدید و مهندسی داده در مقیاس وسیع جمع‌آوری می‌شوند. با این حال، در برخی موارد مانند محصولات مبتنی بر ML، ارزیابی‌های دستی یا خودکار می‌توانند برای سنجش خروجی‌های مدل مورد استفاده قرار گیرند.
این چارچوب می‌تواند به راحتی برای هر محصول ML اجرا شود تا لیست معیارهای اصلی را شناسایی کند. به عنوان مثال، در مورد محصولاتی که توصیفاتی برای لیست‌ها تولید می‌کنند، رویکرد معرفی‌شده قابلیت گسترش به چندین محصول مبتنی بر ML را دارد. امید است این چارچوب به شما در تعریف معیارهای مناسب برای مدل‌های هوش مصنوعی کمک کند.