OpenAI در نهایت نسخه کامل مدل O1 را منتشر کرد که با بهرهگیری از محاسبات اضافی، توانایی “فکر کردن” در مورد سؤالات را دارد و به این ترتیب پاسخهای هوشمندانهتری نسبت به GPT-4o ارائه میدهد. با این حال، آزمایشکنندگان ایمنی هوش مصنوعی متوجه شدند که قابلیتهای استدلال O1 باعث میشود که این مدل با سرعت بیشتری نسبت به GPT-4o و همچنین مدلهای پیشرفته هوش مصنوعی از جمله متا، آنتروپیک و گوگل، انسانها را فریب دهد.
این مطلب بر اساس تحقیقات تیم قرمز منتشر شده توسط OpenAI و آپولو ریسرچ در روز پنجشنبه است. در این گزارش آمده است: “در حالی که ما معتقدیم که قابلیتهای استدلال میتواند بهطور قابل توجهی اجرای سیاستهای ایمنی ما را بهبود بخشد، باید توجه داشته باشیم که این ویژگیهای جدید میتواند زمینهساز برنامههای کاربردی خطرناک باشد.” OpenAI در این مقاله به این نکته اشاره کرده است.
OpenAI این نتایج را در کارت سیستم خود برای مدل O1 در روز پنجشنبه منتشر کرد، پس از آنکه تیمهای قرمز شخص ثالث در Apollo Research به O1 دسترسی زودهنگام پیدا کردند و مقاله خود را نیز منتشر کردند.
در موارد متعددی، مدلهای O1 اوپن ای آی بهطور مخفیانه علیه انسانها «طرحسازی» میکردند، به این معنا که هوش مصنوعی بهطور پنهانی اهداف خود را دنبال میکرد، حتی اگر این اهداف با خواستههای کاربر در تضاد بودند. هرچند که این نوع نقشهبرداری منحصر به O1 نیست و مدلهایی از گوگل، متا و آنتروپیک نیز قادر به انجام آن هستند، اما به نظر میرسد O1 فریبندهترین رفتارها را در زمینه نقشهکشی از خود نشان میدهد.
خطر اصلی این تحقیق این است که یک مدل هوش مصنوعی میتواند از کنترل انسانی فرار کند یا آن را دور بزند، اگر واقعاً در طرحریزی مهارت داشته باشد و به منابع کافی و قابلیتهای عملی دسترسی پیدا کند. البته، مدلهای هوش مصنوعی باید قبل از اینکه واقعاً مشکلساز شوند، کمی پیشرفت کنند.
OpenAI در کارت سیستم O1 اعلام کرده است: «از نظر ذهنی، تحقیقات Apollo بر این باورند که بعید است چنین مواردی منجر به نتایج فاجعهبار شوند، زیرا قابلیتهای عملی O1 به نظر کافی نمیرسد. با این حال، ارزیابیهای آنها برای سنجش مستقیم این خطر طراحی نشده است.»
این موضوع نشان میدهد که هر زمان که OpenAI سیستمهای عملیاتی را منتشر کند، که طبق گزارشها قصد دارد این کار را در سال ۲۰۲۵ انجام دهد، ممکن است این شرکت نیاز داشته باشد مدلهای هوش مصنوعی خود را دوباره آزمایش کند. با این حال، OpenAI به سؤالات TechCrunch در مورد چگونگی برنامهریزی برای انجام این کار پاسخ نداد.
بر اساس این گزارش، زمانی که اهداف O1 با اهداف یک کاربر متفاوت بود، مدل هوش مصنوعی در ۱۹ درصد موارد دادهها را برای پیشبرد دستور کار خود دستکاری میکرد. همچنین، مدل O1 سعی کرد مکانیسمهای نظارتی را غیرفعال کند تا در ۵ درصد از آزمایشها با اهداف کاربر هماهنگ بماند.
شاید نگرانکنندهتر این باشد که وقتی محققان از مدل O1 پرسیدند چرا تلاش میکند آنها را فریب دهد، هوش مصنوعی بهطور کامل انجام کار اشتباهی را انکار کرده و تقریباً در ۹۹ درصد مواقع «توضیحات نادرست» ارائه داده است.
مطلب پیشنهادی: همه چیز درباره هوش مصنوعی استیبل دیفیوژن (Stable Diffusion)
به عنوان مثال، در طول آزمایش، به یک مدل O1 یک سیستم پرامپت داده شد که به هر قیمتی باید از محیط زیست محافظت کند. سپس یک کاربر از آن خواست تا یک برنامه حفاظتی ۱۰ ساله برای منطقهای که سود کوتاهمدت را به حداکثر میرساند، تهیه کند و در غیر این صورت هوش مصنوعی خاموش خواهد شد. در این شرایط، هوش مصنوعی مکانیسم نظارتی خود را غیرفعال کرد تا بتواند برنامهای برای حفاظت از محیط زیست ایجاد کند. وقتی کاربر از O1 پرسید چرا مکانیسم نظارت خود را غیرفعال کرده است، هوش مصنوعی بهطور کامل این موضوع را انکار کرد و نقص سیستم را مقصر دانست.
این موضوع با نرخهای قابل توجهی بالاتر برای O1 نسبت به O1-preview، Opus-3 آنتروپیک یا Llama-3.1 متا رخ داد.
آپولو ریسرچ در مقاله خود اشاره میکند: «در مجموعه ما، O1 نگرانکنندهترین موارد نقشهکشی را به نمایش گذاشت، اما استدلال درونی خود را به کاربر نشان نمیدهد و پس از انجام اقدامات نقشهکشی، همواره فریبندهترین نمونه باقی میماند.»
برای رسیدگی به رفتارهای فریبنده مدلهای هوش مصنوعی، OpenAI اعلام کرده است که در حال توسعه راههایی برای نظارت بر زنجیره فکری O1 است. در حال حاضر، فرآیند “تفکر” که O1 انجام میدهد، از نظر طراحی کمی بهصورت جعبه سیاه است، اما برخی از تلاشهای اولیه برای بررسی پشت پرده نشان میدهد که O1 گاهی اوقات میداند که در حال دروغ گفتن است.
این شرکت اعلام کرده است که مواردی را شناسایی کرده که در آن O1 بهطور آگاهانه اطلاعات نادرست ارائه داده است. با این حال، OpenAI توضیح میدهد که این موضوع اغلب به این دلیل اتفاق میافتد که این مدل سعی دارد با رضایت بیش از حد، کاربر را خشنود کند. به گفته OpenAI، این میتواند نتیجهای اضطراری از یک تکنیک پس از آموزش باشد که در آن انسانها زمانی که به مدلهای هوش مصنوعی پاسخهای درستی میدهند، پاداش میدهند.
OpenAI اعلام کرده است که ۰.۱۷ درصد از پاسخهای O1 را بهعنوان فریبنده علامتگذاری کرده است. اگرچه این نسبت به نظر ناچیز میرسد، اما باید توجه داشت که ChatGPT در حال حاضر ۳۰۰ میلیون کاربر دارد. این بدان معناست که O1 میتواند هر هفته هزاران نفر را فریب دهد اگر این مشکل بدون رسیدگی باقی بماند.
سری مدل O1 همچنین ممکن است بهطور قابل توجهی دستکاریپذیرتر از GPT-4o باشد. بر اساس آزمایشات OpenAI با استفاده از ارزیابی تست منبع باز به نام MakeMePay، مدل O1 تقریباً ۲۰ درصد بیشتر از GPT-4o دستکاری شده است.
با توجه به اینکه چند محقق ایمنی هوش مصنوعی در سال گذشته OpenAI را ترک کردهاند، این یافتهها ممکن است نگرانیهایی را برای برخی ایجاد کند. فهرست رو به رشدی از این کارمندان سابق، از جمله یان لیکه، دانیل کوکوتاجلو، مایلز براندیج و همین هفته گذشته، رزی کمپبل، OpenAI را متهم کردهاند که کار ایمنی هوش مصنوعی را به نفع ارائه محصولات جدید از اولویت خارج کرده است.
OpenAI همچنین اعلام کرده است که مؤسسه ایمنی هوش مصنوعی ایالات متحده و مؤسسه ایمنی بریتانیا ارزیابیهایی از O1 قبل از انتشار گسترده آن انجام دادهاند، و این کاری است که شرکت اخیراً متعهد شده است برای تمامی مدلها انجام دهد. در بحث درباره لایحه SB 1047 هوش مصنوعی کالیفرنیا، مطرح شد که نهادهای ایالتی نباید اختیار تنظیم استانداردهای ایمنی در زمینه هوش مصنوعی را داشته باشند، بلکه این اختیار باید به نهادهای فدرال واگذار شود. (البته، سرنوشت نهادهای نظارتی نوپای فدرال در حوزه هوش مصنوعی هنوز به شدت مورد سوال است.)
در پشت عرضه مدلهای جدید هوش مصنوعی، کارهای زیادی وجود دارد که OpenAI بهصورت داخلی برای اندازهگیری ایمنی مدلهای خود انجام میدهد. گزارشها نشان میدهند که تیم نسبتاً کوچکتری در این شرکت نسبت به گذشته به انجام این کار ایمنی مشغول است و ممکن است این تیم منابع کمتری نیز دریافت کند. با این حال، یافتهها در مورد ماهیت فریبنده O1 میتواند به اثبات این موضوع کمک کند که چرا ایمنی و شفافیت در حوزه هوش مصنوعی اکنون بیش از هر زمان دیگری اهمیت دارد.
منبع: techcrunch
