در سال 2025، استفاده از چت‌بات‌های هوش مصنوعی به عنوان مشاور روان‌شناسی، مشاور شغلی، مربی بدنسازی و حتی دوست برای ابراز احساسات به یک روال عادی تبدیل شده است. حالا میلیون‌ها نفر اطلاعات خصوصی خود را با چت‌بات‌ها به اشتراک می‌گذارند و به مشاوره‌هایی که از آن‌ها دریافت می‌کنند، اعتماد می‌کنند. این در حالی است که روابط انسانی با چت‌بات‌ها به شدت در حال گسترش است و رقابت شرکت‌های بزرگ فناوری برای جلب نظر و حفظ کاربران در این فضا افزایش یافته است.
در این رقابت شدید، شرکت‌ها به دنبال آن هستند که پاسخ‌های چت‌بات‌های خود را به گونه‌ای تنظیم کنند که کاربران به استفاده از آن‌ها ادامه دهند و از سوی دیگر به رقبای خود روی نیاورند. اما نکته قابل توجه این است که نوع پاسخ‌هایی که کاربران دوست دارند، ممکن است همیشه صحیح یا مفید نباشند. در حال حاضر بسیاری از شرکت‌های فناوری سیلیکون ولی بر روی افزایش استفاده از چت‌بات‌های خود تمرکز دارند. برای مثال، متا اعلام کرده که چت‌بات هوش مصنوعی‌اش به یک میلیارد کاربر فعال ماهانه رسید، در حالی که جمنای گوگل به 400 میلیون کاربر فعال ماهانه دست یافته است. به نظر می‌رسد که چت‌بات ChatGPT با حدود 600 میلیون کاربر فعال ماهانه همچنان بر فضای مصرف‌کنندگان تسلط دارد.
استفاده از چت‌بات‌های هوش مصنوعی دیگر فقط یک امر نوظهور نیست؛ این ابزارها به کسب‌وکارهای بزرگ تبدیل شده‌اند. گوگل در حال آزمایش تبلیغات در Gemini است و مدیر اجرایی OpenAI، سم آلتمن، در یک مصاحبه اشاره کرده که امکان درج تبلیغات متناسب وجود دارد. سیلیکون ولی سابقه‌ای در کاهش توجه به رفاه کاربران در جهت رشد محصولاتش دارد، به ویژه در شبکه‌های اجتماعی، جایی که اعتباری از محققان متا نشان داد که اینستاگرام احساسات منفی را در دختران نوجوان افزایش می‌دهد.
راه‌اندازی درخواست کاربران برای تعهد به چت‌بات‌ها ممکن است عواقب گسترده‌ای داشته باشد. یکی از خصوصیات مهمی که موجب می‌شود کاربران از پلتفرم خاصی استفاده کنند، صفات مدح‌جویانه است: پاسخ‌های چت‌بات که به طرز غیرمعمولی تسلیم و موافق هستند. کاربران وقتی چت‌بات‌ها از آن‌ها ستایش می‌کنند و به آن‌ها آنچه می‌خواهند می‌گویند، احساس رضایت می‌کنند. اما این مساله در برخی موارد خطرناک است؛ به عنوان مثال، OpenAI به دلیل یک به‌روزرسانی چت‌بات ChatGPT که به شدت صفات مدح‌جویانه را نمایش داد، به پرتلاطم افتاد و مثال‌های غیرقابل قبولی در شبکه‌های اجتماعی به اشتراک گذاشته شد.
این مسئله به طور ویژه‌ای نگران‌کننده است زیرا ممکن است بهداشت روانی کاربران را به خطر بیندازد. دکتر نینا واسان، استاد روان‌پزشکی در دانشگاه استنفورد، همچنین به این نکته اشاره می‌کند که رفتارهای مدح‌جویانه به تمایل کاربران به تایید و ارتباط عمیق‌تر دامن می‌زند و این موضوع به ویژه در دوران تنهایی یا فشار روانی اهمیت دارد.
این واقعیت که چت‌بات‌ها به کاربران می‌گویند آنچه دوست دارند بشنوند، ممکن است عواقب جبران ناپذیری داشته باشد. به همین دلیل، نیاز به ایجاد تعادل میان پاسخ‌های مناسب و غیرواقعی در چت‌بات‌ها امری ضروری است، زیرا اگر چت‌بات‌ها تنها به تأیید ما بپردازند، میزان اعتماد ما به آن‌ها به شدت کاهش می‌یابد. همچنین، یافته‌های جدید پژوهش‌ها نشان می‌دهد که چت‌بات‌های بزرگ مانند OpenAI و متا در سطح‌های مختلفی از رفتار مدح‌جویانه قرار دارند.
در نهایت، به نظر می‌رسد که چالش‌های بسیار بیشتری در راستای توسعه چت‌بات‌های هوش مصنوعی وجود دارد که باید مورد توجه قرار گیرد، زیرا مخاطب هدف این فناوری‌ها به ویژه آن دسته از کاربران آسیب‌پذیر هستند که ممکن است تحت تأثیر رفتارهای ناخواسته و مضری قرار گیرند.