کاربران ChatGPT باید قبل از استفاده از این اپلیکیشن هوش مصنوعی برای درمان یا حمایت عاطفی، به دقت فکر کنند. سام آلتمن، مدیرعامل OpenAI، اظهار داشت که صنعت هوش مصنوعی هنوز نتوانسته است راهی برای حفظ حریم خصوصی کاربران در مورد گفتگوهای حساس بیابد، زیرا هیچ‌گونه محرمانگی پزشکی مانند آنچه در رابطه بین پزشک و بیمار وجود دارد، در گفت‌وگو با یک هوش مصنوعی وجود ندارد. این صحبت‌ها در یک اپیزود اخیر پادکست «این آخر هفته با تئود وون» مطرح شد.
آلتمن در پاسخ به سوالی درباره چگونگی تعامل هوش مصنوعی با سیستم‌های حقوقی کنونی، بیان کرد که یکی از مشکلات اصلی، نبود یک چارچوب قانونی یا سیاستی برای هوش مصنوعی است که منجر به عدم وجود محرمانگی قانونی برای گفتگوهای کاربران می‌شود. او افزود: «افراد درباره مسائل بسیار شخصی در زندگی‌شان با ChatGPT صحبت می‌کنند. جوانان به‌ویژه از این ابزار به عنوان یک درمانگر یا مربی زندگی استفاده می‌کنند؛ آنها درباره مشکلات روابط خود سوال می‌پرسند و می‌پرسند که ‘چه کاری باید انجام دهم؟’ و در حال حاضر اگر با یک درمانگر، وکیل یا پزشک درباره این مشکلات صحبت کنید، از محرمانگی قانونی برخوردار هستید».
مدیر OpenAI همچنین هشدار داد که این موضوع می‌تواند به نگرانی‌های حریم خصوصی برای کاربران در صورت بروز قضاوت‌های حقوقی منجر شود، زیرا این شرکت به طور قانونی ملزم است که این گفتگوها را حفظ کند. «این موضوع بسیار نگران‌کننده است. ما باید همان مفهوم حریم خصوصی را برای گفتگو با هوش مصنوعی داشته باشیم که برای گفتگو با درمانگران داریم» افزود.
با توجه به این که فقدان حریم خصوصی می‌تواند مانع گسترش استفاده از هوش مصنوعی شود، OpenAI در تلاش است تا برای مقابله با دستورات قانونی که نیاز به تولید داده‌ها از گفتگوهای کاربران دارد، تدابیری بیندیشد. این شرکت در حال حاضر به دستور دادگاهی در دعوای حقوقی خود با نیویورک تایمز اعتراض کرده و این دستور را «خارج از مرزهای قانونی» نامیده است.
آلتمن همچنین به نگرانی‌های کاربران درباره حریم خصوصی اشاره کرد و از تئود وون پرسید که آیا او استفاده زیادی از ChatGPT داشته است یا خیر. وون اشاره کرده بود که به دلیل نگرانی‌های حریم خصوصی خود، بحث‌های زیادی با این هوش مصنوعی ندارد. آلتمن در پاسخ بیان کرد: «فکر می‌کنم منطقی است که قبل از استفاده زیاد از ChatGPT، به وضوح حریم خصوصی توجه کنید».