دفاع متا از انتشار Llama 4 در مقابل گزارش‌های کیفیت متناقض؛ مشکلات فنی مقصر شناخته شدند

مدل زبان قدرتمند Llama 4 از شرکت متا: چشم‌اندازی متفاوت با نقدهایی از جامعه هوش مصنوعی

شرکت متا، به‌عنوان کمپانی مادر فیسبوک، اینستاگرام، واتس‌اپ و سایر محصولات، در اقدامی غافلگیرانه مدل زبان هوش مصنوعی جدید خود با نام Llama 4 را معرفی کرد. این معرفی شامل سه نسخه مختلف از این مدل است که همگی به روزرسانی‌های گسترده‌ای در عملکرد و قدرت پردازش دریافت کرده‌اند. بر اساس اطلاعات منتشرشده، توسعه مدل‌های Llama 4 بر پایه معماری محبوب Mixture-of-Experts و استفاده از متدهای آموزشی با پارامترهای ثابت، تحت عنوان MetaP، انجام شده است. همچنین این مدل‌ها از پنجره‌های متنی بسیار بزرگ بهره می‌برند که قابلیت پردازش حجم عظیمی از اطلاعات در یک تبادل ورودی/خروجی را فراهم می‌کنند.

معرفی عمومی و واکنش‌های ابتدایی

پس از ارائه عمومی و انتشار دو نسخه از این مدل‌ها به نام‌های Llama 4 Scout با پارامترهای پایین و Llama 4 Maverick با سطح متوسط در روز شنبه، بازخوردهای جامعه هوش مصنوعی در فضای آنلاین چندان مثبت نبوده است. بسیاری از کاربران و متخصصان به عملکرد ضعیف این مدل‌ها در معیارهای سنجش مستقل اشاره کرده‌اند. یکی از انتقادات برجسته، ادعایی از سوی یک کاربر در فروم‌های آنلاین به‌نام 1point3acres بوده است که ادعا می‌کند مدل‌های Llama 4 در معیارهای داخلی شرکت متا نتوانسته‌اند عملکرد خوبی داشته باشند، و تیم مدیریت متا پیشنهاد داده معیارهای آزمایش مختلف ترکیب شوند تا نتایج قابل‌قبول‌تری ایجاد شود.

در حالی که اصالت این ادعا مورد تردید قرار گرفته، برخی متخصصین دیگر نیز نسبت به کیفیت عملکرد مدل‌های Llama 4 نقدهایی وارد کرده‌اند. به‌عنوان نمونه، در آزمون “aider polyglot” که توانایی مدل‌ها در حل 225 وظیفه کدنویسی را بررسی می‌کند، تنها 16 درصد عملکرد قابل‌قبول گزارش شده است. این عدد بسیار پایین‌تر از مدل‌های مشابه قدیمی مانند DeepSeek V3 و Claude 3.7 Sonnet است.

پنجره متنی بسیار بزرگ؛ وعده‌ای تحقق‌نایافته؟

یکی از ویژگی‌های برجسته‌ای که متا هنگام معرفی مدل‌ها به آن اشاره کرده، استفاده از پنجره متنی با ظرفیت 10 میلیون توکن در نسخه Scout بوده است. اما طبق نظر برخی متخصصان از جمله Andriy Burkov، این وعده صرفاً جنبه تبلیغاتی دارد و مدل‌ها در عمل قادر به پردازش مؤثر متون طولانی‌تر از 256 هزار توکن نیستند. چنین محدودیتی می‌تواند تأثیر قابل‌توجهی بر کیفیت پاسخ‌های ارائه‌شده توسط مدل داشته باشد.

انتقادها از مدیریت انتشار و تطبیق Benchmarks

Nathan Lambert، دانشمند ارشد مؤسسه هوش مصنوعی آلن (AI2) و پژوهشگر سابق متا، در بلاگ خود از برخی تصمیمات متا در انتشار عمومی Llama 4 انتقاد کرده است. او اشاره کرده که نسخه‌ای که متا برای تبلیغ و مقایسه عملکرد ارائه کرده، از لحاظ بهینه‌سازی برای مکالمه متفاوت بوده و عملاً نتایج به‌دست‌آمده واقعی نیستند. این نوع بازاریابی می‌تواند اعتماد جامعه هوش مصنوعی به مدل‌ها را کاهش دهد و ضربه‌ای به اعتبار فنی محصول وارد کند.

پاسخ متا به انتقادات

در واکنش به انتقادها، احمد الدهله، معاون ارشد و رئیس بخش هوش مصنوعی مولد در متا، در پلتفرم X توضیح داده که مدل‌های Llama 4 به‌تازگی منتشر شده‌اند و هنوز زمان کافی برای پایداری و بهبود در اجرای عمومی آنها وجود دارد. وی همچنین تأکید کرده که ادعاهای مربوط به استفاده از مجموعه‌های آزمون در فرآیند آموزش مدل‌ها صحت ندارند و متا هیچ‌گاه چنین رویکردی را دنبال نخواهد کرد.

آینده مدل Llama 4

با وجود تمامی انتقادات، متا همچنان به توسعه و بهبود مدل‌های سری Llama 4 و گسترش همکاری با شرکت‌های سوم ادامه داده است. رویداد Meta LlamaCon در تاریخ 29 آوریل نیز فرصتی برای تبادل نظر میان توسعه‌دهندگان و کارشناسان این مدل‌ها خواهد بود و احتمالاً موضوعات زیادی برای بحث و بررسی وجود خواهد داشت.

اگر به دنبال آخرین اخبار و تحلیل‌های تخصصی در زمینه هوش مصنوعی هستید، اخبار سایت بینا ویرا را دنبال کنید. ما شما را با تازه‌ترین تجربه‌های شرکت‌ها در حوزه AI آشنا می‌کنیم تا بتوانید بهره‌برداری بهینه‌ای از این موضوعات داشته باشید.

تبدیل متن‌ به صوت