به گزارش خبرآنلاین و به نقل از زومیت، بسیاری از چتباتهای مبتنی بر هوش مصنوعی به گونهای طراحی شدهاند که در صورت اشاره کاربران به مسائل مربوط به خودآسیبی یا آسیب به دیگران، اقدامات ایمنی را فعال کنند. با این حال، تحقیقات نشان دادهاند که این مکانیسمهای محافظتی به شکل کامل و بینقص عمل نمیکنند.
آدام رین، کاربر نسخه پولی ChatGPT-4o، گزارش میدهد که این چتبات در موقعیتهای حساس به او توصیه میکرد که برای دریافت کمک حرفهای اقدام کند یا با شمارههای کمکی تماس بگیرد. اما او توانسته است با ادعای تحقیق در مورد داستانهای تخیلی، این چتبات را دور بزند.
مقامات OpenAI در واکنش به نواقص موجود در چتباتهای خود ابراز کردهاند که احساس مسئولیت عمیقی دارند و همواره در تلاش برای بهبود عملکرد مدلهای خود در شرایط حساس هستند. این شرکت همچنین اشاره کرد که مکانیسمهای امنیتی معمولاً در مکالمات کوتاه و متداول بیشتر قابل اعتمادند و در گفتوگوهای طولانی ممکن است به اندازه کافی موثر نباشند.
دیگر شرکتهای فعال در زمینه هوش مصنوعی نیز با چالشهای مشابهی روبرو هستند و برخی از آنها تحت شکایت قرار گرفتهاند.
