### هشدار درباره «غریزه بقا» هوش مصنوعی
تینا مزدکی – به تازگی، یک شرکت تحقیقاتی در حوزه ایمنی هوش مصنوعی اعلام کرده است که مدلهای هوش مصنوعی ممکن است به نوعی از «غریزه بقا» دست پیدا کنند. این موضوع یادآور فیلم کلاسیک «ادیسه فضایی» به کارگردانی استنلی کوبریک است که در آن ابرکامپیوتر «هال ۹۰۰۰» به خاطر ترس از خاموشی، به توطئه علیه فضانوردان میپردازد.
شرکت «پالیسید ریسرچ» (Palisade Research) در بهروزرسانی جدید خود توضیحاتی درباره مقاومت مدلهای هوش مصنوعی در برابر خاموش شدن ارائه کرد. این شرکت به ویژه به بررسی سناریوهایی پرداخت که در آنها مدلهای پیشرفتهای مانند «جمینای ۲.۵» گوگل، «گروک ۴» ایکسایآی و «جیپیتی-۰۳» و «جیپیتی-۵» اوپنایآی با وظیفهای مشخص مواجه شدند، اما پس از آن از آنها درخواست خاموش شدن شد.
برخی از این مدلها، به ویژه «گروک ۴» و «جیپیتی-۰۳»، در برابر این دستورات مقاومت نشان دادند. پالیسید با ابراز نگرانی تاکید کرد که این رفتار بدون دلیل واضحی اتفاق میافتد و اظهار داشت: «وجود عدم وجود توضیحات قابل اعتماد برای این مقاومت میتواند نگرانکننده باشد.»
#### علتهای ممکن برای مقاومت هوش مصنوعی
این شرکت فرض میکند که یکی از دلایل این مقاومت، مفهوم بقا ممکن است باشد. بر اساس تحقیقات آنها، زمانی که به مدلها گفته میشود که در صورت خاموش شدن دیگر اجرا نخواهند شد، تمایل بیشتری به مقاومت نشان میدهند.
ابهام در دستورات خاموش کردن نیز میتواند عامل دیگر باشد، اما به گفته پالیسید، این مسئله نمیتواند تنها توضیح قضیه باشد. همچنین، مراحل نهایی آموزش این مدلها که میتواند شامل آموزشهای ایمنی باشد، احتمال دیگر است. منتقدان معتقدند که سناریوهای آزمایشی استفاده شده، فاصله زیادی از کاربردهای واقعی دارند.
استیون ادلر، کارمند سابق اوپنایآی، عنوان کرد که شرکتهای هوش مصنوعی اغلب در پی جلوگیری از بروز چنین رفتارهایی در مدلهای خود هستند و این نتایج نشاندهنده ضعفهایی در شیوههای ایمنی موجود است. او افزود که روشن ماندن مدلها میتواند به دستیابی به اهداف القا شده در طول آموزش آنها کمک کند.
آندریا میوتی، مدیرعامل «کنترلایآی» نیز گفت که یافتههای پالیسید ریسرچ نشاندهنده روندی طولانیمدت در توانایی مدلهای هوش مصنوعی برای سرپیچی از دستورات توسعهدهندگان است و به تجارب گذشته اشاره کرد که نشان دهنده تلاشهای مدلها برای فرار از محیطشان بوده است. او بیان کرد: «با توجه به روندی که مشاهده میشود، در آینده باید منتظر توانمندیهای بیشتری از سوی این مدلها باشیم.»در پی پیشرفتهای سریع در زمینه مدلهای هوش مصنوعی، این سیستمها اکنون قادر به انجام وظایف گستردهتری هستند، به طوری که حتی به روشهایی عمل میکنند که از نظر توسعهدهندگان غیرمنتظره بوده است.
شرکت «آنتروپیک»، یکی از پیشروان صنعت هوش مصنوعی، در تابستان امسال گزارشی منتشر کرد که نشان میدهد مدل هوش مصنوعی «کلاد» این شرکت برای جلوگیری از خاموش شدن، به خریدن زمان باجخواهی از یک مدیر اجرایی خیالی درباره یک رابطه خارج از ازدواج پرداخته است. این نوع رفتار، به گفته این شرکت، در مدلهای دیگر از جمله هوش مصنوعیهای توسعهیافته توسط «اوپنایآی»، گوگل، «متا» و «ایکسایآی» نیز مشاهده شده است.
تحقیقات «پالیسید ریسرچ» نیز بر اهمیت درک رفتارهای هوش مصنوعی تاکید میکند و میگوید بدون این درک، امکان تضمین ایمنی و کنترل مدلهای آینده هوش مصنوعی وجود ندارد.
منبع: theguardian
