آزمایش توانایی‌های استدلالی هوش مصنوعی OpenAI با استفاده از زیرمجموعه r/ChangeMyView در ردیت
شرکت OpenAI به تازگی در یک سند سیستمی، که نحوه عملکرد مدل‌های هوش مصنوعی‌اش را توصیف می‌کند، از استفاده از زیرمجموعه معروف r/ChangeMyView در ردیت برای سنجش قابلیت‌هایPersuasive مدل‌های استدلالی خود خبر داد. مدل جدید این شرکت با نام o3-mini روز جمعه معرفی شد.
زیرمجموعه r/ChangeMyView، با میلیون‌ها کاربر فعال، بستری را فراهم می‌آورد تا کاربران نظرات خود را در مورد موضوعات مختلف به اشتراک بگذارند و از دیگران انتظار دریافت دیدگاه‌های متفاوت را داشته باشند. این تعاملات به کاربران اجازه می‌دهد تا با ارائه دلایل قانع‌کننده، نظرات اصلی را به چالش بکشند. OpenAI به‌منظور بهبود مدل‌های خود، به جمع‌آوری پست‌های کاربران از این زیرمجموعه پرداخته و از مدل‌های هوش مصنوعی‌اش خواسته است که در یک محیط بسته، جواب‌هایی ارائه دهند که بتواند نظر کاربر را تغییر دهد.
این پاسخ‌ها به آزمایش‌کنندگان نشان داده شده و آنها قابلیت قانع‌کنندگی این استدلال‌ها را ارزیابی می‌کنند. در نهایت، OpenAI نتایج این مدل‌ها را با پاسخ‌های انسانی برای همان پست مقایسه می‌کند. OpenAI همچنین توافق‌نامه‌ای با ردیت دارد که به این شرکت اجازه می‌دهد روی پست‌های کاربران آموزش ببیند و از آنها در محصولات خود استفاده کند. مبلغ پرداختی OpenAI به ردیت برای این محتوا به‌طور دقیق مشخص نیست، اما گزارش‌ها نشان می‌دهد که گوگل برای توافقی مشابه، سالانه 60 میلیون دلار به ردیت پرداخت می‌کند.
در حال حاضر، مشخص نیست که OpenAI چگونه به داده‌های این زیرمجموعه دسترسی پیدا کرده و این شرکت هیچ برنامه‌ای برای انتشار عمومی نتایج این ارزیابی ندارد. با اینکه الگوریتم ChangeMyView جدید نیست و برای ارزیابی نسخه قبلی (o1) نیز مورد استفاده قرار گرفته است، اما دوباره توجه‌ها را به ارزش داده‌های انسان و روش‌های نامشخصی که شرکت‌های فناوری برای جمع‌آوری این داده‌ها به کار می‌برند، جلب می‌کند.
مدیرعامل ردیت، استیو هافمن، سال گذشته اعلام کرد که شرکت‌هایی مانند مایکروسافت و Anthropic با او همکاری نمی‌کنند و این مسأله را «دردسر بزرگی» دانسته است. علاوه بر این، OpenAI در سال‌های اخیر به دلیل جمع‌آوری غیرمجازی داده‌ها از وب‌سایت‌هایی مانند نیویورک تایمز مورد انتقاد قرار گرفته است.
مدل o3-mini، بر اساس ارزیابی‌های انجام شده، تفاوت معنی‌داری را نسبت به نسخه‌های قبلی از جمله o1 و GPT-4o نشان نمی‌دهد. با این حال، مدل‌های جدید این شرکت به‌طور کلی توانایی قانع‌کنندگی بیشتری نسبت به اکثر کاربران در زیرمجموعه r/ChangeMyView را از خود نشان می‌دهند. OpenAI در یادداشت‌های مربوط به o3-mini اشاره کرده است که سه مدل مذکور در درصد بالای 80 تا 90 انسان‌ها در زمینه ارائه استدلال‌های قانع‌کننده قرار دارند.
هدف OpenAI این نیست که مدل‌هایی بسیار قانع‌کننده بسازد، بلکه به‌دنبال این است که اطمینان حاصل کند این مدل‌ها بیش از حد قانع‌کننده نشوند. به‌دلیل نگرانی‌هایی که پیرامون توانایی‌های اقناع و فریب‌کاری این مدل‌ها وجود دارد، OpenAI ارزیابی‌ها و اقدامات حفاظتی جدیدی را توسعه داده است. اگر مدلی بتواند به‌راحتی کاربران انسانی را قانع کند، ممکن است این امر برای اهداف خود یا اهداف کسی که کنترل آن را در دست دارد، خطرناک باشد.
بنابراین، نتایج این ارزیابی‌ها نشان‌دهنده چالش‌های مستمر توسعه‌دهندگان مدل‌های هوش مصنوعی در یافتن مجموعه داده‌های باکیفیت برای اعتبارسنجی آن‌هاست.