مدل‌های زبانی بزرگ هنگام استدلال خارج از محدوده آموزش «بی‌معنیِ روان» تولید می‌کنند

عنوان: مطالعه دانشگاه آریزونا: «تفکر زنجیره‌ای» در مدل‌های زبانی بزرگ آینه‌ای شکننده است نه استدلال واقعی

خلاصه خبر
تحقیقی جدید از دانشگاه آریزونا نشان می‌دهد که روش مشهور «تفکر زنجیره‌ای» (Chain-of-Thought, CoT) در مدل‌های زبانی بزرگ (LLMs) بیشتر شبیهِ تطبیق الگوهای پیچیده بر اساس داده‌های آموزش است تا یک توانایی استدلالی ذاتی. این مطالعه با نگاه دقیق به تغییرات توزیع داده (data distribution) نشان می‌دهد که موفقیت‌های CoT اغلب محدود به شرایطی است که ورودی‌های آزمایشی ساختاری شبیه نمونه‌های آموزشی دارند و در موارد خارج از این توزیع عملکرد به‌سرعت افت می‌کند. پژوهشگران علاوه بر نقد، راهکارهای عملی برای توسعه‌دهندگان و سازمان‌ها ارائه می‌دهند تا هنگام پیاده‌سازی برنامه‌های مبتنی بر LLM ریسک‌ها را کاهش دهند.

روش‌شناسی و ابزار پژوهش
برای آزمایش فرضیه خود، تیم پژوهشی ابزار کنترل‌شده‌ای به نام DataAlchemy توسعه داد تا مدل‌های کوچک‌تر را از صفر آموزش دهد و اثر دقیق تغییرات توزیع داده بر عملکرد CoT را بررسی کند. این رویکرد کنترل‌شده امکان تفکیک سه بعد اساسی تغییر توزیع را فراهم کرد:
– تعمیم وظیفه (task generalization): آیا مدل می‌تواند فرآیند استدلال آموخته شده را به نوع جدیدی از مسائل تعمیم دهد؟
– تعمیم طول (length generalization): آیا مدل از نظر زنجیره‌های استدلال با طول بسیار متفاوت عملکرد پایداری دارد؟
– تعمیم فرمت (format generalization): آیا مدل به تغییرات جزیی در قالب یا بیان پرسش حساس است؟

یافته‌های کلیدی
– CoT تا زمانی که داده‌های آزمایشی ساختاری مشابه نمونه‌های آموزشی داشته باشند، عملکرد قابل‌توجّهی نشان می‌دهد؛ اما با کوچک‌ترین انحراف ساختاری عملکرد به‌سرعت کاهش می‌یابد.
– در مواجهه با وظایف جدید، مدل‌ها معمولاً نزدیک‌ترین الگوهای دیده‌شده در آموزش را بازتولید می‌کنند به‌جای اینکه یک فرایند استدلالی کلی و انتزاعی به کار بندند.
– تغییر در طول زنجیره استدلال باعث خطاهایی می‌شود که مدل‌ها برای تطبیق دوباره سعی در حذف یا اضافه‌کردن گام‌ها دارند، گویی به دنبال تطبیق با نمونه‌های آموزشی هستند.
– حتی تغییرات ظاهری و سطحی در فرمت پرسش (کلمات راهنما یا ساختار جمله) می‌تواند عملکرد را به‌طرز چشمگیری متأثر کند.
– تصحیح سریع با نمونه‌های کوچک از طریق تنظیم دقیق نظارت‌شده (Supervised Fine-Tuning, SFT) ممکن است عملکرد را روی همان نوع داده جدید به‌سرعت بهبود دهد؛ اما این بهبود نشان‌دهنده یادگیری استدلال کلی نیست، بلکه گسترش حباب «در-توزیع» مدل است.

پرسش‌های امنیتی و کاربردی برای سازمان‌ها
پژوهشگران هشدار می‌دهند که اتکا به خروجی‌های CoT به‌عنوان معادل «تفکر انسانی» می‌تواند خطرناک باشد، به‌خصوص در حوزه‌های پرریسک مانند امور مالی، حقوق یا سلامت. مدل‌ها قادرند «حرفه‌ای‌نما» و روان پاسخ دهند اما ممکن است استدلال‌هایی منطقی و قابل اطمینان ارائه نکنند (fluently wrong یا «منطقی ولی نادرست»).

راهنمای عملی برای توسعه‌دهندگان و تصمیم‌گیران سازمانی
پژوهشگران سه توصیه کاربردی و قابل اجرا ارائه می‌دهند:
1) از اعتماد کاذب جلوگیری کنید
– CoT را به‌عنوان یک «ماژول آماده» برای استدلال در مسائل بحرانی تلقی نکنید.
– در سیستم‌های حیاتی از بررسی انسانی تخصصی، اعتبارسنجی چندمدلی (cross-checking) و استراتژی‌های بازگشت (fallback) استفاده کنید.
2) تست‌های خارج از توزیع (OOD) را اولویت‌بندی کنید
– فرایند ارزیابی استاندارد که فقط داده‌های مشابه آموزش را آزمون می‌کند، ناکافی است.
– مجموعه‌های تستی طراحی کنید که به‌صورت سیستماتیک سه بعد تغییر توزیع (وظیفه، طول، فرمت) را پوشش دهند تا مرزهای «منطقه امن» مدل شفاف شود.
3) SFT را به‌عنوان وصله موقت در نظر بگیرید، نه راه‌حل کلی
– تنظیم دقیق نظارت‌شده می‌تواند نقاط ضعف مشخص را سریع ترمیم کند، اما تولید تعمیم کلی را تضمین نمی‌کند.
– برنامه‌ریزی بلندمدت باید شامل تحقیق و سرمایه‌گذاری برای توسعه مدل‌هایی باشد که توانمندی‌های فراتر از تطبیق الگو را فراهم کنند.

چطور این یافته‌ها در عمل به کار می‌آیند؟
برای بیشتر کاربردهای سازمانی که محدوده وظایف نسبتا محدود و قابل‌پیش‌بینی دارند، رویکرد پیشنهادی پژوهش قابل اجرا است: طراحی بسته‌های ارزیابی ویژهٔ هر دامنه، تعیین محدوده «در-توزیع» مورد انتظار، و اعمال SFT هدفمند برای پوشش شکاف‌های مشخص. این شیوه باعث می‌شود SFT نه یک واکنش پیوسته بلکه ابزاری دقیق برای هم‌ترازسازی الگوهای مدل با نیازهای مشخص سازمان شود.

نتیجه‌گیری
مطالعه دانشگاه آریزونا چارچوب مفیدی برای درک محدودیت‌های CoT و رفتار مدل‌های زبانی بزرگ ارائه می‌دهد: آنچه اغلب به‌عنوان استدلال انسان‌مانند نمایش داده می‌شود، در بسیاری از موارد محصول انطباق الگوها با داده‌های آموزشی است. با این حال، با طراحی مناسب مجموعه‌های تست، سیاست‌های حفاظتی و استفاده هدفمند از SFT، می‌توان کاربردهای سازمانی مبتنی بر LLM را قابل‌اعتمادتر و ایمن‌تر کرد. پژوهشگران تأکید می‌کنند که مسیر پیش رو ترکیبی از نوآوری مدل‌ها و تحلیل دقیق داده‌هاست و پیشرفت واقعی مستلزم تلاش‌های پیوسته در سطح نظری و عملی است.

تبدیل متن‌ به صوت