رویداد مهمی در دنیای هوش مصنوعی رخ داده است: شرکت Liquid AI، که از مؤسسه فناوری ماساچوست (MIT) منشعب شده است، به تازگی از مدل نوین خود با نام “Hyena Edge” رونمایی کرد. این مدل با هدف کاهش وابستگی صنعت فناوری به معماری ترنسفورمر که در بیشتر مدل‌های زبانی بزرگ (LLMs) مانند GPT از OpenAI و خانواده Gemini از گوگل استفاده می‌شود، توسعه یافته است.
Hyena Edge، یک مدل چند‌هیبریدی مبتنی بر شبکه‌های عصبی پیچشی است که برای دستگاه‌های هوشمند مانند گوشی‌های هوشمند طراحی شده و به زودی در کنفرانس بین‌المللی یادگیری نمایندگی‌ها (ICLR) 2025 که در سنگاپور برگزار خواهد شد، به نمایش درخواهد آمد. این مدل به گونه‌ای طراحی شده تا در کارایی محاسباتی و کیفیت مدل زبان، از استانداردهای قوی ترنسفورمرها پیشی بگیرد.
در آزمایش‌های واقعی که بر روی گوشی هوشمند سامسونگ Galaxy S24 Ultra انجام شده است، Hyena Edge موفق به ارائه تأخیر کمتر، استفاده بهینه‌تر از حافظه و نتایج بهتری در معیارهای استاندارد نسبت به مدل ترنسفورمر++ مشابه شده است. برخلاف بسیاری از مدل‌های کوچک که برای اجرا بر روی دستگاه‌های موبایل بهینه‌سازی شده‌اند، Hyena Edge رویکردی متفاوت دارد و از دو سوم اپراتورهای توجه گروهی (GQA) خود به جای آن از کانولوشن‌های کنترل‌شده استفاده می‌کند.
این معماری جدید بر اساس چارچوب “سنتز معماری‌های بهینه‌سازی شده” (STAR) توسعه یافته است که از الگوریتم‌های تکاملی برای طراحی خودکار ساختارهای مدل بهره می‌برد. STAR به بررسی مجموعه وسیعی از ترکیب‌های اپراتوری می‌پردازد تا بر اساس اهداف خاص سخت‌افزاری، مانند تأخیر و مصرف حافظه، بهینه‌سازی انجام دهد.
نتایج آزمایش‌ها بیانگر این هستند که Hyena Edge توانسته است تا ۳۰ درصد سریع‌تر از مدل ترنسفورمر++ عمل کند و در طول توالی‌های بلندتر، مزایای سرعت بیشتری را نیز نشان دهد. این مدل همچنین در زمینه مصرف حافظه همیشه کمتر از RAM استفاده کرد و به همین دلیل برای محیط‌هایی با محدودیت‌های منابع به عنوان یک گزینه جذاب شناخته می‌شود.
Hyena Edge بر روی ۱۰۰ میلیارد توکن آموزش دیده و در معیارهای استاندارد برای مدل‌های کوچک زبانی مورد ارزیابی قرار گرفته است. این مدل به ویژه در معیارهای مقایسه‌ای نظیر Wikitext و Lambada، موفق به ثبت نتایجی بالاتر از مدل GQA-Transformer++ شد.
Liquid AI اعلام کرده است که در ماه‌های آینده مجموعه‌ای از مدل‌های مبنای Liquid، از جمله Hyena Edge، را به صورت منبع باز عرضه خواهد کرد. هدف این شرکت ایجاد سیستم‌های هوش مصنوعی کارآمد و توانمند است که بتوانند از مراکز داده ابری تا دستگاه‌های شخصی مقیاس‌پذیر باشند.
با توجه به رشد روزافزون نیاز به استفاده از مدل‌های هوش مصنوعی پیچیده در دستگاه‌های موبایل، مدل‌هایی مانند Hyena Edge می‌توانند نقطه عطفی در بهینه‌سازی عملکرد هوش مصنوعی بر روی دستگاه‌های لبه‌ای باشند و Liquid AI را به یکی از بازیگران نوظهور در این عرصه تبدیل کنند.