آزمایشگاه Thinking Machines به سرپرستی میرا موراتی (Mira Murati)، مدیر فناوری پیشین OpenAI، در تازهترین اقدام تحقیقاتی خود به موضوعی پرداخته که برای توسعهدهندگان و پژوهشگران هوش مصنوعی اهمیت بالایی دارد: چگونگی تولید پاسخهای قابل بازتولید در مدلهای زبان بزرگ (LLM). این تیم که با سرمایه اولیه ۲ میلیارد دلار و حضور جمعی از پژوهشگران سابق OpenAI توجه بسیاری را جلب کرده، در اولین پست از بلاگ تحقیقاتی جدید خود، Connectionism، گزارشی با عنوان «Defeating Nondeterminism in LLM Inference» منتشر کرده است.
در این مقاله پژوهشی، هوراس هِی (Horace He) از دلایل اصلی ایجاد عدم قطعیت در پاسخهای مدلهای زبانی سخن گفته است. بهصورت خلاصه، او علت اصلی را نحوه «ترکیب» یا ارکستراسیون کرنلهای GPU — برنامههای کوچک اجراشونده در تراشههای گرافیکی مانند محصولات انویدیا — در فرآیند استنتاج مدل میداند. به عبارت دیگر، اجرای موازی، چیدمان کرنلها و جزئیات محاسباتی در سطح سختافزار میتواند تغییرات ریز در محاسبات عددی ایجاد کند که در خروجی نهایی مدل بهشکل پاسخهای متفاوت ظاهر میشود.
چرا این موضوع مهم است؟
– قابلیت بازتولید پاسخها: برای پژوهش علمی، عیبیابی مدلها و اعتمادپذیری خدمات مبتنی بر AI، داشتن نتایج قابل بازتولید ضروری است.
– بهبود آموزش تقویتی (Reinforcement Learning): در فرایند RL، اگر پاسخهای مدلها ناپایدار باشند، سیگنال پاداش نویزی میشود و آموزش دشوارتر میگردد. هِی میگوید که کنترل لایه ارکستراسیون میتواند روند RL را هموارتر کند.
– کاربردهای سازمانی: شرکتها برای سفارشیسازی مدلها و فراهم کردن خروجیهای قابل اتکا به راهحلهایی نیاز دارند که رفتار مدل را پیشبینیپذیرتر سازند.
Thinking Machines Lab اعلام کرده که قصد دارد یافتهها، کدها و مطالب تحقیقاتی خود را بهطور مکرر منتشر کند تا علاوه بر منافع عمومی، فرهنگ پژوهشی داخلی خود را نیز تقویت کند. این تعهد به اشتراکگذاری پژوهش در تضاد با روند بستهتر شدن برخی رقبای بزرگ است که با رشد سازمانی، بخشهایی از تحقیقاتشان را کمتر منتشر میکنند.
نکته مهم این است که انتشار این پست، هرچند چشمانداز روشنی از فناوری نهایی ارائه نمیدهد، نمایی از جهتگیری پژوهشی این استارتاپ را نشان میدهد: پرداختن به مسائل بنیادین در مرزهای تحقیق در هوش مصنوعی. آزمون واقعی اما اجرای این راهکارها در محصولات کاربردی و توجیه ارزشگذاری ۱۲ میلیارد دلاری اعلامشده برای شرکت خواهد بود.
پست Connectionism و مقاله «Defeating Nondeterminism in LLM Inference» فرصتی نادر برای مشاهده درونمایهٔ فنی یکی از محرمانهترین تیمهای سیلیکونولی فراهم کرده است؛ پیگیری انتشارهای آتی این آزمایشگاه میتواند برای پژوهشگران، استارتاپها و سازمانهایی که به دنبال مدلهای زبان قابل اعتمادتر هستند، اطلاعات ارزشمندی داشته باشد.