آزمایشگاههای هوش مصنوعی که در حال توسعه سیستمهای فوقهوشمند هستند، به این نتیجه رسیدهاند که ممکن است نیاز داشته باشند مسیر خود را تغییر دهند. در این مقاله به چالش ها و ضرورت تغییر قوانین کنونی مقیاسبندی هوش مصنوعی در آزمایشگاه های هوش مصنوعی خواهیم پرداخت.
به گفته چندین سرمایهگذار، بنیانگذار و مدیرعامل در حوزه هوش مصنوعی که با TechCrunch گفتگو کردهاند، “قوانین مقیاسبندی هوش مصنوعی” که آزمایشگاهها در پنج سال گذشته برای افزایش قابلیتهای مدلهای خود به کار میبردند، اکنون نشانههایی از کاهش بازده را نشان میدهد. این احساسات نشاندهنده گزارشهای اخیر است که حاکی از آن است که مدلهای موجود در آزمایشگاههای پیشرو هوش مصنوعی، نسبت به گذشته، با سرعت کمتری بهبود مییابند.
اکنون به نظر میرسد که همه به این نکته اذعان دارند که نمیتوان با استفاده از محاسبات و دادههای بیشتر در حین پیشآموزش مدلهای زبانی بزرگ، انتظار داشت که این مدلها به نوعی خدای دیجیتالی دانا تبدیل شوند. شاید این موضوع واضح به نظر برسد، اما قوانین مقیاسبندی به عنوان یک عامل کلیدی در توسعه و بهبود ChatGPT و همچنین تأثیرگذاری بر بسیاری از مدیران عامل برای پیشبینیهای جسورانه درباره ورود هوش عمومی مصنوعی (AGI) در چند سال آینده، مطرح بوده است.
ایلیا سوتسکِور، بنیانگذار OpenAI و Safe Super Intelligence، هفته گذشته به رویترز گفت که «همه به دنبال چیز بعدی هستند» تا مدلهای هوش مصنوعی خود را تغییر دهند. همچنین، اوایل این ماه، مارک آندرسن، یکی از بنیانگذاران a16z، در یک پادکست اشاره کرد که به نظر میرسد مدلهای هوش مصنوعی در حال حاضر به یک سقف از تواناییها نزدیک میشوند.
اما اکنون، تقریباً بلافاصله پس از بروز این روندهای نگرانکننده، مدیران عامل، محققان و سرمایهگذاران در حوزه هوش مصنوعی اعلام کردهاند که ما وارد دوره جدیدی از قوانین مقیاسبندی شدهایم. این دوره که به “محاسبات زمان آزمایش” معروف است، به مدلهای هوش مصنوعی زمان بیشتری میدهد تا قبل از پاسخ دادن به سؤال، “فکر” کنند. این رویکرد بهویژه به عنوان یک رقیب امیدوارکننده برای تبدیل شدن به گام بعدی در توسعه هوش مصنوعی مطرح شده است.
ساتیا نادلا، مدیرعامل مایکروسافت، روز سهشنبه در کنفرانس مایکروسافت Ignite با اشاره به تحقیقات محاسباتی آزمایشی مبتنی بر مدل o1 اوپن ای آی اعلام کرد: «ما در حال مشاهده ظهور یک قانون مقیاسبندی جدید هستیم.» او تنها کسی نیست که اکنون به o1 به عنوان آینده اشاره می کند.
آنجنی میدا، شریک شرکت آندرسن هوروویتز و عضو هیئت مدیره Mistral و سرمایهگذار فرشته در Anthropic، در مصاحبهای اخیر با TechCrunch اظهار داشت: «ما اکنون در مرحله دوم قوانین مقیاسبندی قرار داریم که به مقیاسبندی زمان آزمایش مربوط میشود.»
اگر موفقیت غیرمنتظره و اکنون کند شدن ناگهانی قوانین قبلی مقیاسبندی هوش مصنوعی چیزی را به ما نشان میدهد، آن این است که پیشبینی چگونگی و زمان بهبود مدلهای هوش مصنوعی بسیار دشوار است. با این حال، به نظر میرسد که یک تغییر پارادایم در حال وقوع است: روشهایی که آزمایشگاههای هوش مصنوعی برای ارتقای مدلهای خود در پنج سال آینده به کار میبرند، احتمالاً با آنچه در پنج سال گذشته استفاده کردهاند، تفاوت خواهد داشت.
قوانین مقیاس بندی هوش مصنوعی چیست؟
پیشرفت های سریع مدلهای هوش مصنوعی که از سال ۲۰۲۰ توسط OpenAI، Google، Meta و Anthropic به دست آمده، عمدتاً به یک بینش کلیدی مربوط میشود: استفاده از محاسبات و دادههای بیشتر در طول مرحله پیشآموزش مدلهای هوش مصنوعی.
زمانی که محققان در این مرحله به سیستمهای یادگیری ماشینی منابع فراوانی ارائه میدهند، هوش مصنوعی قادر است الگوها را در مجموعه دادههای بزرگ شناسایی و ذخیره کند. این امر باعث میشود که مدلها در پیشبینی کلمه یا عبارت بعدی عملکرد بهتری داشته باشند.
این اولین نسل از قوانین مقیاسبندی هوش مصنوعی تأثیر زیادی بر مجموعه کارهایی که رایانهها قادر به انجام آن بودند، گذاشت. مهندسان با افزایش تعداد پردازندههای گرافیکی و مقدار دادههای ورودی، این تغییرات را به وجود آوردند. اگرچه این روش خاص ممکن است به پایان خود رسیده باشد، اما پیش از آن نقشه راه را بهطور کامل تغییر داده است. در حال حاضر، تمامی شرکتهای بزرگ فناوری بهطور گستردهای از هوش مصنوعی استفاده میکنند و انویدیا، که پردازندههای گرافیکی را برای این شرکتها تأمین میکند، اکنون به عنوان باارزشترین شرکت سهامی عام در جهان شناخته میشود.
اما این سرمایهگذاریها با این امید انجام شد که مقیاسپذیری به همان شکل که انتظار میرفت، ادامه یابد.
توجه به این نکته ضروری است که قوانین مقیاسبندی، قوانین طبیعت، فیزیک، ریاضی یا دولت نیستند. هیچ چیز یا کسی نمیتواند تضمین کند که این روندها با همان سرعت ادامه خواهند یافت. حتی قانون مور، که یکی از قوانین معروف مقیاسبندی به شمار میرود، در نهایت به پایان رسید، هرچند که بهطور قطع مدت زمان بیشتری دوام آورد.
رابرت نیشیهارا، یکی از بنیانگذاران و مدیرعامل سابق Anyscale، در مصاحبهای با TechCrunch اظهار داشت: “اگر تنها به افزایش محاسبات و دادهها بپردازید و مدل را بزرگتر کنید، با پدیدهای به نام بازدهی کاهشی مواجه خواهید شد.” او همچنین تأکید کرد که برای حفظ قوانین مقیاسبندی و ادامه نرخ پیشرفت، به ایدههای جدید نیز نیاز داریم.
نیشیهارا به خوبی با قوانین مقیاسبندی هوش مصنوعی آشنا است. شرکت Anyscale که با توسعه نرمافزاری که به OpenAI و دیگر توسعهدهندگان مدلهای هوش مصنوعی کمک میکند تا حجم کار آموزشی خود را به دهها هزار GPU افزایش دهند، به ارزش میلیارد دلاری دست یافته است. Anyscale یکی از بزرگترین ذینفعان پیشآموزش قوانین مقیاسبندی در حوزه محاسبات به شمار میرود، اما حتی یکی از بنیانگذاران آن نیز به این نکته اذعان دارد که فصل جدیدی در حال آغاز است.
با اشاره به محدودیتهای مقیاسبندی دادهها، او گفت: «زمانی که میلیونها نقد را در Yelp خواندهاید، ممکن است بررسیهای بعدی در این پلتفرم دیگر آنقدر برای شما مفید نباشند. اما این یک پیشآموزش است. من میتوانم بگویم که روششناسی مربوط به مرحله پس از تمرین هنوز کاملاً ناپخته است و جای زیادی برای بهبود دارد.»
برای روشن شدن موضوع، توسعهدهندگان مدلهای هوش مصنوعی احتمالاً به دنبال خوشههای محاسباتی بزرگتر و مجموعههای داده وسیعتری برای پیشآموزش خواهند بود و به احتمال زیاد پیشرفتهای بیشتری برای خروج از این روشها وجود خواهد داشت. ایلان ماسک بهتازگی ساخت یک ابررایانه به نام Colossus را که شامل ۱۰۰,۰۰۰ پردازنده گرافیکی است، برای آموزش مدلهای آینده xAI را به پایان رسانده است. بنابراین، در آینده شاهد خوشههای بزرگتر و بیشتری خواهیم بود.
اما روندها نشان میدهند که دستیابی به رشد نمایی تنها با افزایش تعداد پردازندههای گرافیکی و استفاده از استراتژیهای موجود ممکن نیست. به همین دلیل، روشهای جدید ناگهان توجه بیشتری را به خود جلب کردهاند.
محاسبات زمان آزمایش: شرط بزرگ بعدی در صنعت هوش مصنوعی
زمانی که OpenAI پیشنمایشی از مدل o1 خود را منتشر کرد، این استارتاپ اعلام کرد که این مدل بخشی از سری جدیدی از مدلهاست که از GPT جدا میباشد.
OpenAI مدلهای GPT خود را عمدتاً از طریق قوانین مقیاسبندی سنتی بهبود بخشید: با استفاده از دادههای بیشتر و قدرت محاسباتی بیشتر در حین پیشآموزش. اما به نظر میرسد که این روش اکنون دیگر کارایی لازم را ندارد. چارچوب مدل o1 بر اساس یک مفهوم جدید به نام “محاسبات زمان آزمون” بنا شده است، که به این دلیل این نام را به خود گرفته که منابع محاسباتی پس از یک اعلان مورد استفاده قرار میگیرند، نه قبل از آن. این تکنیک هنوز در زمینه شبکههای عصبی بهطور گستردهای مورد بررسی قرار نگرفته است، اما در حال حاضر نویدبخش به نظر میرسد.
برخی از کارشناسان در حال حاضر به محاسبات زمان آزمون به عنوان روش بعدی برای مقیاسبندی سیستمهای هوش مصنوعی اشاره میکنند.
میدا از a16z گفت: «تعدادی از آزمایشها نشان میدهند که حتی اگر قوانین مقیاسبندی پیشآموزشی به کندی پیش بروند، قوانین مقیاسبندی در زمان آزمون (جایی که به مدل در فرآیند استنتاج محاسبات بیشتری میدهید) میتواند به افزایش عملکرد منجر شود.»
یوشوا بنجیو، محقق مشهور در حوزه هوش مصنوعی، روز سهشنبه در مقالهای اظهار داشت: «O سری جدید OpenAI را به جلو میبرد و برای این کار به منابع محاسباتی و در نتیجه انرژی بیشتری نیاز دارد. بنابراین، ما شاهد ظهور یک شکل جدید از مقیاسبندی محاسباتی هستیم. این تنها به معنای استفاده از دادههای آموزشی بیشتر و مدلهای بزرگتر نیست، بلکه زمان بیشتری نیز صرف “تفکر” در مورد پاسخها میشود.»
در یک بازه زمانی ۱۰ تا ۳۰ ثانیهای، مدل o1 چندین بار به خود درخواست میدهد و یک مشکل بزرگ را به مجموعهای از مشکلات کوچکتر تقسیم میکند. با اینکه ChatGPT از عبارت «فکر کردن» استفاده میکند، اما در واقع کاری را انجام نمیدهد که انسانها انجام میدهند. با این حال، روشهای حل مسئلهای که از بیان مجدد واضح یک مشکل و ارائه راهحلهای مرحلهای بهره میبرند، الهامبخش اصلی این رویکرد بودهاند.
حدود یک دهه پیش، نوام براون، که اکنون رهبری پروژه o1 در OpenAI را بر عهده دارد، در تلاش بود تا سیستمهای هوش مصنوعی بسازد که بتوانند انسانها را در بازی پوکر شکست دهند. در یک صحبت اخیر، براون اشاره کرد که در آن زمان متوجه شده بود که چگونه بازیکنان پوکر انسانی قبل از بازی با دست، سناریوهای مختلف را در نظر میگیرند. در سال ۲۰۱۷، او روشی را معرفی کرد که به یک مدل اجازه میدهد ۳۰ ثانیه قبل از بازی فکر کند. در آن زمان، هوش مصنوعی در حال انجام بازیهای فرعی مختلف بود و متوجه میشد که چگونه سناریوهای مختلف برای تعیین بهترین حرکت اجرا میشوند.
در نهایت، هوش مصنوعی به طرز چشمگیری هفت برابر بهتر از تلاشهای قبلی او عمل کرد.
بدون شک، تحقیقات براون در سال ۲۰۱۷ از شبکههای عصبی استفاده نکرد، زیرا در آن زمان این تکنولوژی چندان محبوب نبود. با این حال، محققان MIT هفته گذشته مقالهای منتشر کردند که نشان میدهد محاسبات زمان آزمون به طور قابل توجهی عملکرد مدلهای هوش مصنوعی را در وظایف استدلال بهبود میبخشد.
هنوز مشخص نیست که محاسبات زمان آزمون چگونه مقیاس خواهد شد. این ممکن است به این معنا باشد که سیستمهای هوش مصنوعی برای فکر کردن به سوالات دشوار به زمان بسیار طولانیتری نیاز دارند، شاید ساعتها یا حتی روزها. رویکرد دیگری که میتواند مورد استفاده قرار گیرد، این است که به یک مدل هوش مصنوعی اجازه داده شود به طور همزمان از طریق پرسشهایی درباره تعداد زیادی از تراشهها فکر کند.
اگر محاسبات زمان آزمون به عنوان مرحله بعدی برای مقیاسبندی سیستمهای هوش مصنوعی مطرح شود، میدا اشاره میکند که تقاضا برای تراشههای هوش مصنوعی که در استنتاج با سرعت بالا تخصص دارند، میتواند به طرز چشمگیری افزایش یابد. این موضوع میتواند خبر خوبی برای استارتاپهایی مانند Groq و Cerebras باشد که در زمینه تراشههای استنتاج سریع هوش مصنوعی فعالیت میکنند.
به نظر میرسد که اکثر فعالان این حوزه نسبت به کاهش سرعت قوانین قدیمی مقیاسبندی نگران نیستند. حتی اگر محاسبات زمان آزمون به عنوان موج بعدی مقیاسبندی مطرح نشود، برخی بر این باورند که ما تنها در حال خراشیدن سطح برنامههای کاربردی مدلهای فعلی هوش مصنوعی هستیم.
محصولات محبوب جدید میتوانند به توسعهدهندگان مدلهای هوش مصنوعی زمان بیشتری بدهند تا راههای جدیدی برای بهبود مدلهای زیربنایی پیدا کنند.
میدا اظهار داشت: «من کاملاً متقاعد شدهام که تنها از طریق کار در سطح برنامه، حداقل ۱۰ تا ۲۰ برابر افزایش عملکرد مدل را شاهد خواهیم بود. این امر با اجازه دادن به مدلها برای درخشش از طریق پیامهای هوشمندانه، تصمیمگیریهای بهینه در تجربه کاربری و انتقال زمینه در زمان مناسب محقق میشود.»
به عنوان مثال، حالت صوتی پیشرفته ChatGPT یکی از کاربردیترین ویژگیهای مدلهای فعلی هوش مصنوعی به شمار میرود. با این حال، این بیشتر یک نوآوری در تجربه کاربری است تا یک فناوری بنیادی. میتوان مشاهده کرد که چگونه نوآوریهای بیشتر در زمینه تجربه کاربری، مانند دسترسی به این ویژگی از طریق وب یا برنامههای موبایل، میتواند کیفیت محصول را به طرز چشمگیری بهبود بخشد.
کیان کتان فروش، مدیر عامل استارتآپ AI Workera و مدرس کمکی استنفورد در زمینه یادگیری عمیق، به TechCrunch میگوید که شرکتهایی که برنامههای کاربردی هوش مصنوعی مانند او میسازند، لزوماً برای ساخت محصولات بهتر نیازی به مدلهای هوشمندتر ندارند. او همچنین میگوید محصولات موجود در مدلهای فعلی فضای زیادی برای بهتر شدن دارند.
کتان فروش میگوید: «فرض کنید شما در حال ساخت برنامههای هوش مصنوعی هستید و هوش مصنوعی شما در یک کار خاص دچار توهم میشود. برای جلوگیری از این مشکل دو راه وجود دارد: یا باید مدلهای زبانی بزرگ (LLM) بهبود یابند و توهمسازی را متوقف کنند، یا ابزارهای اطراف آن باید بهتر شوند تا فرصتهایی برای رفع این مشکل فراهم شود.»
در حال حاضر، کاربران ممکن است برای مدتی تأثیرات تغییرات اخیر در حوزه هوش مصنوعی را احساس نکنند. اما باید توجه داشت که آزمایشگاههای هوش مصنوعی به طور مداوم در تلاش هستند تا مدلهای بزرگتر، هوشمندتر و سریعتری را توسعه دهند و به بازار عرضه کنند. این به این معناست که چندین شرکت پیشرو در فناوری در حال تغییر روشهای خود برای پیشبرد مرزهای هوش مصنوعی هستند و به دنبال نوآوریهای جدید میباشند.
منبع: techcrunch
