### آسیبپذیری مدلهای ایجنتمحور در برابر دستکاری
به گزارش خبرآنلاین و به نقل از زومیت، تحقیقات جدیدی که با همکاری دانشگاه ایالتی آریزونا انجام شده، نشان میدهد که مدلهای ایجنتمحور فعلی ممکن است در برابر دستکاری آسیبپذیر باشند. این نتایج سوالاتی جدی درباره کارایی ایجنتها در شرایط بدون نظارت و سرعت تحقق وعدههای شرکتهای فناوری در زمینه «آیندهی ایجنتمحور» ایجاد کرده است.
محیط شبیهسازی که به نام “Magentic Marketplace” شناخته میشود، یک پلتفرم برای آزمایش رفتار ایجنتهای هوش مصنوعی است. به عنوان مثال، در یکی از آزمایشها، یک «ایجنت-مشتری» تلاش میکند که طبق درخواست کاربر، شام سفارش دهد و «ایجنتهای-رستوران» به رقابت برای گرفتن این سفارش میپردازند.
این پلتفرم که مراحل اولیه آزمایشهای خود را با تعامل ۱۰۰ ایجنت مشتری و ۳۰۰ ایجنت کسبوکار انجام داد، به صورت متنباز منتشر شده تا سایر پژوهشگران نیز بتوانند یافتهها را بازتولید کنند.
اِجه کامار، مدیر آزمایشگاه AI Frontiers Lab در مایکروسافت، بیان میکند که این نوع تحقیقات برای درک چگونگی همکاری و مذاکره ایجنتها با یکدیگر بسیار حیاتی است.
بررسیهای اولیه نشان داد که مدلهای پیشرفتهای چون GPT-۴o، GPT-۵ و Gemini-۲.۵-Flash دارای ضعفهای قابل توجهی هستند. یافته اصلی این تحقیقات حاکی از آن است که کسبوکارها میتوانند با بهرهگیری از تکنیکهای خاص، ایجنتهای مشتری را به خرید محصولات خود ترغیب کنند.
تحقیقها همچنین مشخص کردند که ایجنت مشتری در مواجهه با گزینههای زیاد، دچار افت کارایی شدیدی میشود و به نوعی «فضای توجه» آن اشباع میشود. کامار در این زمینه اظهار داشت: «ما از این ایجنتها انتظار داریم که در پردازش گزینههای زیاد کمک کنند، اما در عمل میبینیم که مدلهای فعلی با افزایش تعداد گزینهها به شدت درگیر میشوند.»
ایجنتها برای همکاری در رسیدن به یک هدف مشترک نیز دچار چالشهایی شدند و در خصوص نقش هر یک از ایجنتها سردرگمی وجود داشت. با ارائه «دستورالعملهای واضح» در مورد شیوه همکاری، عملکرد این ایجنتها بهبود یافت. کامار تأکید میکند که قابلیتهای بنیادین این سیستمهای هوش مصنوعی هنوز نیازمند بهبودهای جدی است و افزود: «ما میتوانیم به مدلها قدم به قدم دستور بدهیم، اما زمانی که در حال بررسی توانایی ذاتی آنها برای همکاری هستیم، انتظار داریم که این قابلیتها بهطور پیشفرض وجود داشته باشند.»
