تشخیص اشتباه سیستم امنیتی مبتنی بر هوش مصنوعی؛ دانشآموزی در مریلند دستبند شد
یک دانشآموز دبیرستانی در شهرستان بالتیمور، ایالت مریلند، پس از آنکه سیستم امنیتی مبتنی بر هوش مصنوعی کیف چیپس او را بهعنوان احتمالاً یک سلاح شناسایی کرد، دستبند زده و مورد بازرسی قرار گرفت. تکی آلن، دانشآموز مدرسه Kenwood High School، به شبکه خبری محلی WBAL گفته است: «من فقط یک بسته دوریتوس در دستم داشتم — دو دست و یک انگشت بیرون بود — و به آنها گفتند شبیه تفنگ بهنظر میرسد.» او افزوده که مأموران از او خواستند روی زمین زانو بزند، دستهایش را پشت سر گذاشتند و او را دستبند زدند.
طبق بیانیهای که مدیر مدرسه، کیتی اسمیت، برای والدین فرستاد، بخش امنیتی مدرسه هشدار تشخیص سلاح را بررسی و لغو کرده بود؛ با این حال اسمیت که ابتدا متوجه لغو هشدار نشده بود، موضوع را به افسر مدرسه گزارش داد و نتیجه این گزارش تماس افسر با پلیس محلی شد. شرکت ارائهدهنده سیستم تشخیص سلاح مبتنی بر هوش مصنوعی، Omnilert، در پاسخ به رسانهها ابراز تاسف کرده و گفته که «از وقوع این رخداد متعجب و متأسف است» اما همزمان اعلام کرده که «فرآیند همانطور که طراحی شده عمل کرده است.»
پرسشهای کلیدی و پیامدها
– خطای مثبت (false positive): این مورد نمونهای از تشخیص اشتباه است که میتواند تبعات روانی و قانونی برای دانشآموزان داشته باشد. سیستمهای مبتنی بر هوش مصنوعی در تشخیص اشیاء گاهی به اشتباه عمل میکنند، بهویژه در شرایط نور نامناسب یا زاویههای غیرمعمول.
– نقش انسان در چرخه تصمیمگیری: تجربه نشان میدهد نیاز به «انسان ناظر» (human-in-the-loop) و تایید انسانی قبل از اقداماتی مانند دستبند زدن یا تماس با پلیس حیاتی است.
– شفافیت و پاسخگویی: مدارس و شرکتهای فناوری موظفاند نحوه عملکرد، نرخ خطای سیستم و پروتوکلهای واکنش را شفاف اطلاعرسانی کنند تا اعتماد خانوادهها حفظ شود.
– حریم خصوصی و حقوق دانشآموزان: استفاده از فناوریهای نظارتی در محیطهای آموزشی باید با چارچوب قانونی و استانداردهای حقوق بشری همراستا باشد تا از سوءاستفاده و تبعات منفی جلوگیری شود.
اقدامات پیشنهادی برای کاهش رخدادهای مشابه
– بازنگری و تقویت پروتکلهای داخلی مدرسه برای تأیید هشدارهای خودکار توسط اپراتور انسانی پیش از هر اقدام تنبیهی یا تماس با پلیس.
– درخواست حسابرسی مستقل و شفاف از عملکرد سیستمهای تشخیص مبتنی بر هوش مصنوعی (شامل نرخ خطا و دادههای آزمایشی).
– آموزش کارکنان مدرسه درباره محدودیتهای فناوریهای تشخیص و نحوه برخورد انسانی و کمتنش با دانشآموزان در مواجهه با هشدارها.
– اطلاعرسانی منظم به والدین و ایجاد کانالهای پاسخگویی سریع برای پیگیری موارد مشکوک.
در حالی که فناوریهای مبتنی بر هوش مصنوعی میتوانند در افزایش ایمنی نقش داشته باشند، این حادثه یادآور ضرورت برقراری تعادل میان امنیت فیزیکی و حفاظت از حقوق و کرامت دانشآموزان است. تحقیقات و بازبینیهای بعدی از سوی نهادهای مرتبط میتواند به تعیین مسئولیتها و اصلاح روندها کمک کند.