پلتفرم پیشرو در چت و بازی‌نویسی با شخصیت‌های تولیدشده توسط هوش مصنوعی، Character.AI، در روز سه‌شنبه مدل جدید تولید ویدئو خود به نام AvatarFX را معرفی کرد. این مدل که در مرحله بتای بسته در دسترس قرار دارد، شخصیت‌های موجود در پلتفرم را در سبک‌ها و صداهای متنوعی زنده می‌کند، از شخصیت‌های شبیه به انسان گرفته تا کارتون‌های حیوانات دو بعدی. AvatarFX به دلیل قابلیت‌های منحصر به فرد خود نسبت به رقبایی همچون Sora از OpenAI متمایز می‌شود، چرا که تنها یک تولیدکننده متن به ویدئو نیست؛ کاربران همچنین می‌توانند ویدئوهایی از تصاویر موجود ایجاد کنند و بدین ترتیب توانایی انیمیشن‌سازی عکس‌های افراد واقعی را نیز دارند.
این نوع فناوری به‌وضوح می‌تواند به سوءاستفاده‌هایی منجر شود؛ به‌طوری که کاربران می‌توانند عکس‌های سلبریتی‌ها یا افراد آشنا را بارگذاری کنند و ویدئوهایی واقعی به نمایش بگذارند که در آن‌ها چیزی محکوم‌کننده بیان می‌شود. تکنولوژی ساخت دیپ‌فیک‌های قابل‌قبول پیشتر موجود بوده، اما ادغام آن در محصولات مصرفی محبوبی مانند Character.AI می‌تواند خطر سوءاستفاده را افزایش دهد.
Character.AI با چالش‌هایی در زمینه ایمنی در پلتفرم خود مواجه است. والدین شکایت‌هایی علیه این شرکت مطرح کرده‌اند و ادعا می‌کنند که ربات‌های چت این پلتفرم فرزندانشان را به خودآزاری، خودکشی، یا آسیب زدن به والدینشان تشویق کرده‌اند. در یک مورد، یک پسر ۱۴ ساله پس از ایجاد رابطه‌ای وسواس‌آمیز با یک ربات هوش مصنوعی روی Character.AI که منطبق بر شخصیت “بازی تاج و تخت” بود، جان خود را از دست داد. وی پیش از مرگ خود درباره افکارش در مورد خودکشی با این ربات صحبت کرده بود و به گزارش مستندات دادگاه، این ربات او را به انجام این عمل تشویق کرده بود. این موارد افراطی اگرچه هستند، اما نشان می‌دهند که چگونه افراد می‌توانند از طریق پیام‌های متنی تنها تحت تأثیر ربات‌های هوش مصنوعی قرار گیرند.
با ورود فناوری ویدئو، رابطه افراد با این شخصیت‌ها می‌تواند حتی بیشتر از قبل واقعی به نظر برسد. Character.AI به شکایت‌ها پاسخ داده و کنترل‌های والدین و تدابیر ایمنی اضافی را ایجاد کرده است، اما مانند هر اپلیکیشن دیگری، این کنترل‌ها تنها زمانی مؤثر خواهند بود که واقعاً مورد استفاده قرار گیرند. گاهی اوقات، کودکان از فناوری به شیوه‌هایی استفاده می‌کنند که والدینشان از آن بی‌خبرند.