اختلال در سامانه نظارت خودکار دیسکورد؛ بیش از ۸۰۰۰ حساب بهاشتباه مسدود شدند
دیسکورد اعلام کرده که یک باگ در سامانه نظارت مبتنی بر هوش مصنوعی این پلتفرم ظرف دو ماه گذشته موجب مسدودسازی اشتباه بیش از ۸۰۰۰ حساب کاربری شده است. تصاویر بیخطر از جمله صفحات اکسل و اسپردشیت، صفحههای شطرنج، تکسچرهای بازی (game textures) و پسزمینههای سفید یا طوسی شفاف بهاشتباه بهعنوان محتوای مضر شناسایی شدهاند. شرکت تأیید کرده که مشکل از ماه مه (May) آغاز شده و بیش از ۲۰۰ حساب دیگر نیز در آخر هفته قبل از شناسایی و رفع باگ مسدود شدهاند. در حال حاضر تمامی حسابهای آسیبدیده در فرایند بازیابی قرار دارند.
دیسکورد در توضیحات مفصل خود در یک رشته پست در شبکه X (توئیتر سابق) توضیح داده که سامانهٔ خودکار حفاظت، محتوای آپلودشده را با پایگاهدادهای از محتوای شناختهشدهٔ مضر مقایسه میکند. هدف این فناوری شناسایی محتوای غیرقانونی از جمله محتوای سوءاستفاده جنسی از کودکان (CSAM) است، اما روش «تطبیق شباهت» (similarity matching) گاهی موجب مثبت کاذب میشود. بهطور عادی یک عضو تیم Trust & Safety (اعتماد و ایمنی) محتوای علامتگذاریشده را پیش از هر اقدام بررسی میکند، اما یک باگ باعث شد که سیستم بهصورت خودکار و بدون بازبینی انسانی، حسابهای موردنظر را فوراً مسدود کند.
کاربران در X و ردیت گزارش دادند که تنها بهخاطر آپلود تصاویر با الگوهای شبکهای مربعشکل (grid) بهصورت دائمی معلق یا مسدود شدهاند. برخی کاربران حدس زدهاند که حساسشدن بیش از حد ابزارهای نظارتی به الگوهای شبکهای ممکن است بهخاطر استفاده قبلی این الگوها برای پنهانسازی محتوای نامناسب از تشخیص خودکار باشد. در میان گزارشها، توسعهدهندگان بازی و مدیران جوامع گیمینگ اشاره کردند که تکسچرهای کاری و نمونههای بصری پروژههایشان بهاشتباه بهعنوان CSAM شناسایی شده و این موضوع پیامدهای جدی روی ارتباطات کاری و جوامع آنلاینشان داشته است.
پیامد این گونه خطاها فراتر از ناراحتی کاربری است: مسدودسازی ناعادلانه میتواند به از دست رفتن دادهها، قطع ارتباطات حرفهای و اجتماعی و زیانهای اقتصادی بینجامد، بهویژه برای کسانی که به پلتفرمهایی مانند دیسکورد برای کار روزمره یا هدایت جامعههای آنلاین وابستهاند. یکی از کاربران نوشته که «از دست دادن حساب دیسکورد بهخاطر چیزی به این بیعدالتی میتواند بسیار ویرانکننده باشد» و خواستار توقف مسدودسازیهای اشتباه شده است.
این مشکل مختص دیسکورد نیست؛ پلتفرمهای دیگر نیز در سالهای اخیر با چالشهای مشابه مواجه شدهاند. کاربران اینستاگرام و گروههای فیسبوک پارسال از تعلیقهای گسترده و توضیحات نامشخص گزارش کردند که بسیاری آن را به خطاهای سیستمهای خودکار نسبت دادند، و تامبلر هم سابقهٔ تعلیقهای انبوه بدون توضیح روشن را دارد. نهادهای ناظر و گروههای شفافیت، از جمله هیئت نظارت متا، خواستار افزایش شفافیت درباره عملکرد و خطاهای سیستمهای نظارتی مبتنی بر هوش مصنوعی شدهاند.
دیسکورد اعلام کرده که در پی رفع باگ، روی تقویت سازوکارهای حفاظتی و جلوگیری از تکرار چنین اشتباهاتی کار میکند و فرایند بازیابی حسابها در جریان است. این حادثه بار دیگر نشان میدهد که استفاده از سیستمهای خودکار برای نظارت در مقیاس بزرگ نیازمند تعادل دقیق بین خودکارسازی، بازبینی انسانی، شفافیت در معیارها و فرایندهای اعادهٔ حقوق کاربر است. کارشناسان پیشنهاد میکنند پلتفرمها نرخ خطاها را گزارش دهند، مکانیزمهای تجدیدنظر سریع و مؤثر فراهم کنند و سامانهها را با مجموعه دادههای نمونهای بیخطر آزمایش کنند تا از وقوع مثبتهای کاذب جلوگیری شود.