وقتی مصرف روزانه متوسط شما به 8 میلیارد توکن میرسد، مدیریت مقیاس دیگر یک چالش ساده نیست — این دقیقاً مشکلی بود که تیم داده AT&T با آن مواجه شد. اندی مارکوس، مدیر ارشد داده AT&T، دریافت که هدایت همه درخواستها از طریق مدلهای بزرگ زبانی نه عملی است و نه اقتصادی. نتیجه بازطراحی لایه ارکستراسیون داخلی و ساخت یک استک چندعاملِ مبتنی بر LangChain بود که تحولی در کارایی، هزینه و سرعت پاسخدهی ایجاد کرد.
چگونه ساختار جدید کار میکند
– معماری چندعامل: مدلهای بزرگ «فوقعامل» (super agents) نقش هدایتکننده را دارند و کارهای خرد و هدفمحور را به «عاملهای کارگر» کوچکتر واگذار میکنند. این تقسیم کار، پردازشهای سنگین را محدود و زمان پاسخ را کاهش میدهد.
– استفاده از مدلهای زبان کوچک (SLMs): مارکوس معتقد است آیندهٔ عاملهای هوشمند شامل «تعداد زیادی مدل زبان کوچک» است، چرا که در حوزههای خاص اغلب دقتی تقریباً برابر با مدلهای بزرگ ارائه میدهند اما هزینه و تأخیر خیلی کمتری دارند.
– زیرساخت و ابزار: تیم AT&T از LangChain بهعنوان فریمورک اصلی استفاده میکند، مدلها را با روشهایی مانند RAG (Retrieval-Augmented Generation) بهینهسازی میکند و برای نگهداری و جستجوی برداری از امکانات جستجوی مایکروسافت در Azure بهره میبرد.
دستاوردها و مزایا
– کاهش هزینهها تا 90٪ در برخی موارد.
– بهبود محسوس در تاخیر و سرعت پاسخدهی.
– مستقر شدن Ask AT&T Workflows بر بستر Azure: ابزاری گرافیکی با قابلیت درگانددراپ برای ساخت عاملها توسط کارکنان و اتوماسیون تسکها.
– مقیاسپذیری عملیاتی: این پلتفرم برای بیش از 100,000 کارمند عرضه شده و بیش از نیمی از کاربران فعال روزانه از آن استفاده میکنند. کاربران فعال افزایش بهرهوری تا 90٪ را گزارش کردهاند.
امنیت، شفافیت و کنترل انسانی
– همهٔ اقدامات عاملها لاگ میشود، دادهها در طول فرایند ایزوله نگهداری میشوند و دسترسی براساس نقش اعمال میشود.
– نظارت انسانی (human on the loop) برای ایجاد توازن و کنترل کلیه فرایندها وجود دارد؛ هرچند برخی عملیات بهصورت خودکار انجام میپذیرد، اما ناظر انسانی کنترل کیفیت و تصمیمگیری نهایی را حفظ میکند.
رویکرد مهندسی و انتخاب ابزار
– فلسفهٔ AT&T این است که همه چیز را از صفر نسازند؛ ابزارها باید «قابل تعویض و قابل انتخاب» باشند و ساختن مجدد کالاهای عمومی اجتناب شود.
– تیم بهصورت منظم گزینههای داخلی و تجاری را ارزیابی میکند: برای مثال Ask Data با Relational Knowledge Graph در رتبهٔ اول اسپایدر 2.0 در دقت متن به SQL قرار گرفته و ابزارهای دیگر در بنچمارک BERT SQL امتیازات بالا کسب کردهاند.
– انعطافپذیری برای آزمایش و جایگزینی قطعات: در این حوزه تغییرات سریعاند و امکان پایلوت کردن، پلاگین یا جداسازی مؤلفهها حیاتی است.
راهنمای کاربردی: آیا هر چیز باید عاملمحور شود؟
مارکوس هشدار میدهد که نباید صرفاً به خاطر جذابیت تکنیکی همهچیز را عاملمحور کرد. سازندگان باید از خود بپرسند:
– آیا یک راهحل سادهتر (مثلاً یک پاسخ مولد تکمرحلهای) میتواند دقت کافی بدهد؟
– آیا میتوان کار را به قطعات کوچکتر تقسیم کرد تا هر بخش با دقت بیشتری ارائه شود؟
معیارهای کلیدی تصمیمگیری باید دقت، هزینه و پاسخپذیری ابزار باشند.
نمونههای کاربردی در AT&T
– جریان کاری شبکه: یک مهندس شبکه میتواند مجموعهای از عاملها بسازد که اول تلهمتری را همبستگی میدهند تا مشکل و مکان آن را شناسایی کنند، سپس لاگها و وضعیتهای شناختهشده را بررسی و تیکت باز کنند. عامل بعدی راهحلهایی برای رفع مشکل پیشنهاد یا حتی کد جدیدی برای پچ تولید میکند و عامل سوم خلاصهای از اقدامات و اقدامات پیشگیرانه آینده مینویسد — همه زیر نظارت مهندس.
– این قاعدهٔ «تفکیک کار به قطعات هدفمحور» اکنون نحوهٔ نوشتن کد در AT&T را نیز تغییر داده و منجر به آنچه مارکوس «کدنویسی مبتنی بر هوش مصنوعی» مینامد شده است.
کدنویسی مبتنی بر هوش مصنوعی: کوتاهتر شدن چرخه توسعه
– توسعهدهندگان با استفاده از روشهای چابک در یک IDE همراه با الگوهای ساخت عملکردمحور، کدهایی نزدیک به کیفیت تولید تولید میکنند؛ گاهی یک دور تولید کافی است تا به کیفیت قابل تولید برسد.
– نتیجه: کاهش چشمگیر تکرارها و تسریع زمان توسعه. تیم AT&T با این رویکرد محصول دادهای سرپرستیشدهٔ داخلی را در 20 دقیقه ساخت؛ کاری که بدون هوش مصنوعی حدود شش هفته طول میکشید.
– این روش امکان ورود تیمهای غیرتخصصی را نیز فراهم میکند تا با پرسشهای زبان ساده نمونههای اولیهٔ نرمافزاری بسازند.
جمعبندی
تجربه AT&T نشان میدهد که برای پیادهسازی عاملهای هوشمند در سطح سازمانی، ترکیبی از معماری چندعامل، مدلهای کوچک حوزهمحور، ابزارهای قابل تعویض و نظارت انسانی ضروری است. اولویت دادن به دقت، هزینه و پاسخگویی و اجتناب از پیچیدگیهای غیرضروری میتواند بهرهوری و مقیاسپذیری را به شکل چشمگیری بهبود بخشد و مسیر عملیسازی هوش مصنوعی عاملمحور در شرکتهای بزرگ را هموارتر کند.