تحقیقاتی در Katanemo Labs به ارائه “Arch-Router”، یک مدل جدید مسیریابی و چارچوبی هوشمند پرداخته است که به طور خاص برای تطبیق دقیق پرسش‌های کاربران با مناسب‌ترین مدل زبان بزرگ (LLM) طراحی شده است. این نوآوری به شرکت‌ها این امکان را می‌دهد تا در هنگام ساخت محصولات وابسته به چندین مدل LLM، به چالشی کلیدی پاسخ دهند: هدایت پرسش‌ها به بهترین مدل بدون نیاز به منطق سخت و پیچیده یا آموزش مجدد پرهزینه.
با افزایش تعداد LLMها، توسعه‌دهندگان دیگر تنها به استفاده از یک مدل واحد اکتفا نمی‌کنند و به سمت سیستم‌های چندمدلی حرکت می‌کنند که از نقاط قوت منحصر به فرد هر مدل برای وظایف خاص استفاده می‌کنند. مسیریابی LLM به عنوان یک تکنیک کلیدی برای ساخت و پیاده‌سازی این سیستم‌ها ظهور یافته و نقش یک کنترل ترافیک را ایفا می‌کند که هر پرسش کاربر را به مدل مناسب هدایت می‌کند.
روش‌های مسیریابی موجود عموماً به دو دسته تقسیم می‌شوند: “مسیریابی مبتنی بر وظیفه” که پرسش‌ها را بر اساس وظایف پیش‌تعریف‌شده هدایت می‌کند و “مسیریابی مبتنی بر عملکرد” که به دنبال ایجاد تعادل بهینه بین هزینه و عملکرد است. با این حال، مسیریابی مبتنی بر وظیفه در مواجهه با نیت‌های مبهم یا در حال تغییر کاربران، به ویژه در گفتگوهای چند مرحله‌ای با مشکل مواجه می‌شود. از طرف دیگر، مسیریابی مبتنی بر عملکرد، معمولاً به امتیازات استانداردی اولویت می‌دهد و بیشتر ترجیحات واقعی کاربران را نادیده می‌گیرد.
محققان Katanemo Labs در مقاله خود اشاره می‌کنند: “روش‌های مسیریابی موجود در استفاده واقعی محدودیت‌هایی دارند و معمولاً تنها بر عملکرد استاندارد بهینه‌سازی می‌شوند و به ترجیحات انسانی که بر اساس معیارهای ارزیابی ذهنی ناشی می‌شود، توجه نمی‌کنند.” بر این اساس، نیاز به سیستم‌های مسیریابی که با ترجیحات انسانی هماهنگ باشند، بیشتر احساس می‌شود.
برای رفع این محدودیت‌ها، محققان چارچوب “مسیریابی هم‌راستا با ترجیحات” را پیشنهاد کرده‌اند که پرسش‌ها را بر اساس سیاست‌های مسیریابی تعریف‌شده توسط کاربر تطبیق می‌دهد. در این چارچوب، کاربران سیاست‌های مسیریابی خود را به زبان طبیعی با استفاده از “طبقه‌بندی حوزه-عمل” تعریف می‌کنند. این یک هرم دو سطحی است که منعکس‌کننده توصیف طبیعی افراد از وظایف است.
فرآیند مسیریابی در دو مرحله انجام می‌شود: در مرحله اول، مدل مسیریاب هم‌راستا با ترجیحات، پرسش کاربران و مجموعه کامل سیاست‌ها را دریافت کرده و مناسب‌ترین سیاست را انتخاب می‌کند. در مرحله دوم، تابع نقشه‌برداری، آن سیاست انتخاب‌شده را به LLM معین متصل می‌کند. طراحی مجزا از منطق انتخاب مدل، این قابلیت را فراهم می‌کند که مدل‌ها به آسانی اضافه، حذف یا تغییر شوند.
مدل Arch-Router با ۱.۵ میلیارد پارامتر برای مسیریابی هم‌راستا با ترجیحات بهینه‌سازی شده و با دقت بالا شناسایی بهترین سیاست‌ها را انجام می‌دهد. نتایج تحقیقات نشان می‌دهد که Arch-Router توانسته است بالاترین امتیاز مسیریابی را در مقایسه با دیگر مدل‌های موجود به‌دست آورد.
این رویکرد در حال حاضر در چندین سناریو مانند ابزارهای کدنویسی منبع‌باز و دستیاران شخصی به کار می‌رود و هدف نهایی آن حرکت از پیاده‌سازی‌های جداگانه و غیرهمگون LLM به یک سیستم یکپارچه و مبتنی بر سیاست است.
شركت Katanemo Labs در حال کار بر روی ادغام ابزارهای خود با پلتفرم‌های ارزیابی برای تسهیل روند توسعه است. در نهایت، هدف این است که با استفاده از Arch-Router به یک تجربه کاربری یکپارچه و بهینه دست یابند.