در دنیای هوش مصنوعی، رقابت برای گسترش مدلهای زبانی بزرگ (LLMs) به بیش از یک میلیون توکن به شدت داغ شده است. مدلهایی مانند MiniMax-Text-01 با ظرفیت ۴ میلیون توکن و Gemini 1.5 Pro که میتوانند تا ۲ میلیون توکن را بهطور همزمان پردازش کنند، نویدبخش کاربردهای انقلابی در این حوزه هستند. این مدلها توانایی تجزیه و تحلیل کل کدها، قراردادهای قانونی و مقالات علمی را در یک بار استنتاج دارند.
موضوع محوری این بحث طول متن، یعنی مقدار متن قابل پردازش و به خاطر سپردن مدلهای هوش مصنوعی است. افزایش طول پنجره متنی به مدلها امکان میدهد تا اطلاعات بیشتری را در یک درخواست مدیریت کنند و نیاز به تقسیم سندها به زیرمجموعهها یا تجزیه مکالمات را کاهش دهند. بهعنوان مثال، مدلی با ظرفیت ۴ میلیون توکن میتواند ۱۰,۰۰۰ صفحه کتاب را در یک بار پردازش کند. در تئوری، این باید به معنای درک بهتر و استدلال پیچیدهتر باشد. اما آیا این پنجرههای بزرگ متنی به ارزش واقعی تجاری در دنیای کسب و کار تبدیل میشوند؟
شرکتها در حال ارزیابی هزینههای گسترش زیرساختهای خود در برابر سود بالقوهای هستند که در بهرهوری و دقت به دست میآورند. آیا ما در حال کشف مرزهای جدیدی در استدلال هوش مصنوعی هستیم، یا فقط در حال کشف محدودیتهای حافظه توکن بیدلیل هستیم؟ این مقاله به بررسی تبادلات فنی و اقتصادی، چالشهای بنچمارکینگ و جریانهای کاری در حال تغییر در سازمانها میپردازد که به شکلگیری آینده LLMهای با متن بزرگ کمک میکند.
رهبران هوش مصنوعی مانند OpenAI، Google DeepMind و MiniMax در حال رقابت برای افزایش طول متنی هستند که یک مدل میتواند در یک بار پردازش کند. این هدف چیست؟ دستیابی به درک عمیقتر، کاهش خطاهای غیرواقعی و تعاملات بیدردسر. برای شرکتها، این بدان معناست که هوش مصنوعی میتواند به تحلیل کلیه قراردادها، اشکالزدایی از کدهای بزرگ یا خلاصهسازی گزارشهای طولانی بدون از دست دادن زمینه اقدام کند.
از نظر نظری، بررسیهای اخیر نشان دادهاند که استفاده از مدلهای با پنجره متنی بزرگتر، میتواند به حفظ اطلاعات بیشتر و کاهش احتمال خطا کمک کند. یک مطالعه در سال ۲۰۲۴ از دانشگاه استنفورد نشان داد که مدلهای ۱۲۸K توکنی در مقایسه با سیستمهای RAG، نرخ خطا را ۱۸٪ کاهش دادهاند.
با این حال، پذیرندگان اولیه با چالشهایی مواجه شدهاند. تحقیق JPMorgan Chase نشان میدهد که مدلها در حدود ۷۵ درصد از زمینه خود عملکرد ضعیفی دارند و عملکرد در وظایف مالی پیچیده در خارج از ۳۲K توکن به شدت کاهش مییابد. مدلها هنوز در یادآوری طولانیمدت با چالش مواجهاند و اغلب دادههای اخیر را به نسبت بینشهای عمیقتر اولویت میدهند.
مدلهای با توکنهای ۴ میلیون، اگرچه تحسینبرانگیز هستند، اما باید بهعنوان ابزارهای تخصصی مورد استفاده قرار گیرند و نه بهعنوان راهحلهای عمومی. آینده در سیستمهای هیبریدی نهفته است که بهطور تطبیقی بین RAG و پنجرههای متنی بزرگ انتخاب میکنند. بهعنوان نمونه، پژوهشهای Google نشان میدهند که مدلهای پیشبینی سهام با پنجرههای ۱۲۸K توکنی از RAG با ۲۹٪ عملکرد بهتری دارند.
در بخش دیگر، نوآوریهای جدیدی مانند GraphRAG میتوانند این سیستمهای تطبیقی را تقویت کنند و نسبتهای پیچیده را بهبهتر جذب کنند. بهینهسازیهای اخیر توسط شرکتهایی مانند Lettria نشان دادهاند که دقت بهوسیلهی GraphRAG به بیش از ۸۰٪ افزایش یافته است.
بهطور خلاصه، در حالی که مدلهای با پنجرههای بزرگ ظرفیتهای شگفتانگیزی ارائه میدهند، تصمیمگیری درباره بهترین رویکرد (استفاده از پنجره بزرگ یا RAG) باید براساس پیچیدگی استدلال، هزینهها و زمان تأخیر اتخاذ شود.