گوگل به زودی ویژگی جدیدی را در API جمنای خود راه‌اندازی خواهد کرد که به ادعای این شرکت، هزینه‌های مربوط به استفاده از مدل‌های هوش مصنوعی جدید را برای توسعه‌دهندگان سوم کاهش می‌دهد. این ویژگی که تحت عنوان “کشینگ ضمنی” شناخته می‌شود، قادر است ۷۵ درصد صرفه‌جویی در هزینه‌ها را برای “زمینه‌های تکراری” که به مدل‌ها از طریق API جمنای ارسال می‌شوند، فراهم کند. این قابلیت از مدل‌های جمنای ۲.۵ پرو و ۲.۵ فلاش پشتیبانی می‌کند و یقیناً خبر مثبتی برای توسعه‌دهندگانی است که با افزایش هزینه استفاده از مدل‌های پیشرفته مواجه هستند.
گوگل در یک پست وبلاگی اعلام کرده است که کشینگ ضمنی به‌صورت پیش‌فرض برای مدل‌های جمنای ۲.۵ فعال شده است و در صورت برخورد درخواست مدل با کش، صرفه‌جویی‌های هزینه‌ای به توسعه‌دهندگان منتقل می‌شود. همچنین تعداد حداقل توکن‌های مورد نیاز برای فعالسازی کشینگ ضمنی به ۱،۰۲۴ برای مدل ۲.۵ فلاش و ۲،۰۴۸ برای مدل ۲.۵ پرو کاهش یافته است. به‌طور کلی، توکن‌ها داده‌های خامی هستند که مدل‌ها با آن‌ها کار می‌کنند و یک هزار توکن معادل تقریباً ۷۵۰ کلمه است.
کشینگ، که روشی متداول در صنعت هوش مصنوعی محسوب می‌شود، امکان استفاده مجدد از داده‌های پرکاربرد یا محاسبات از پیش انجام شده را فراهم می‌کند و به این ترتیب، نیاز به محاسبات مجدد را کاهش می‌دهد. به عنوان مثال، کش‌ها می‌توانند پاسخ‌های سوالات پرتکراری که کاربران معمولاً از یک مدل می‌پرسند را ذخیره کنند و نیازی به تولید مجدد جواب‌های یکسان نخواهند بود.
GOOGLE قبلاً دارای کشینگ صریح بوده است، اما در این حالت توسعه‌دهندگان باید به‌طور خاص درخواست‌های با فرکانس بالا را تعریف کنند که معمولاً نیاز به کار دستی زیادی دارد. در روزهای اخیر، برخی توسعه‌دهندگان از نحوه عملکرد کشینگ صریح در مدل جمنای ۲.۵ پرو ناراضی بودند و این موضوع منجر به ایجاد قبوض بالای API شده بود. بنابراین، با توجه به انتقادات دریافتی، تیم جمنای گوگل عذرخواهی کرده و قول داده است که تغییراتی را در این زمینه اعمال کند.
از طرف دیگر، کشینگ ضمنی به‌صورت خودکار عمل می‌کند و فرصتی را برای صرفه‌جویی بیشتر در هزینه‌ها ایجاد می‌کند. در مورد نحوه کارکرد کشینگ ضمنی، گوگل توصیه می‌کند که توسعه‌دهندگان زمینه‌های تکراری را در ابتدای درخواست‌ها قرار دهند تا شانس برخورد با کش افزایش یابد. همچنین، گوگل هیچ تأییدیه مستقلی درباره اینکه سیستم کشینگ ضمنی جدید به صورت خودکار صرفه‌جویی promised را ارائه خواهد داد، ارائه نکرده است. بنابراین باید دید که نظرات کاربران اولیه درباره این ویژگی جدید چه خواهد بود.