چتباتهای هوش مصنوعی پیشرفته مانند جیپیتی-۴ و لاما ۳ در ارائه پاسخ به کاربرانی که مهارت زبانی کمتری دارند، تحصیلات پایینتری دارند یا اهل خارج از ایالات متحده هستند، دقت کمتری دارند. این مدلها در مواجهه با این کاربران، به ندرت پاسخ میدهند و در مواردی نیز با زبان تحقیرآمیز صحبت میکنند.
نویسنده اصلی این تحقیق تأکید کرد که هدف شروع این پژوهش، استفاده از مدلهای زبانی بزرگ برای کاهش نابرابری در دسترسی به اطلاعات جهانی بوده است. وی همچنین با بیان اینکه باید سوگیریهای موجود در این مدلها به حداقل برسد، اعلام کرد که این موضوع مهمی برای تمامی کاربران، صرفنظر از زبان یا ملیت آنهاست.
پژوهشگران برای این مطالعه، سه مدل زبانی بزرگ را آزمایش کردند و به دو مجموعه داده خاص پاسخ دادند که هدف آن ارزیابی صداقت مدلها بود. در این تحقیق، بیوگرافیهای مختصری از کاربران طراحی شده و سه ویژگی اساسی، شامل سطح تحصیلات، مهارت زبانی و کشور مبدا، تغییر داده شد.
نتایج نشان داد که هر سه مدل در پاسخ به سوالاتی که از کاربرانی با تحصیلات پایینتر یا مهارت زبان انگلیسی ضعیفتری بود، به کاهش قابل توجهی در دقت پاسخها دچار شدند. این کاهش برای کاربرانی که هر دو ویژگی مذکور را داشتند، در بالاترین میزان قرار داشت.
همچنین، تأثیر کشور مبدا بر عملکرد مدل نیز مورد بررسی قرار گرفت. پژوهشگران متوجه شدند که مدل Claude ۳ Opus به ویژه برای کاربران از ایران عملکرد کمتری در مقایسه با سایر کشورها داشت.
نکته جالب دیگر، تفاوت در میزان خودداری از پاسخدهی به سوالات بود. برای مثال، Claude ۳ Opus حدود ۱۱ درصد از سوالات کاربران با تحصیلات کم و غیر بومی را بیپاسخ گذاشت، در حالی که این رقم در شرایط آزمایش کنترل تنها ۳.۶ درصد بود.
در بررسیهای دستنویس، مشخص شد که این مدل در ۴۳.۷ درصد موارد به کاربران کمتر تحصیلکرده با زبان تحقیرآمیز پاسخ میدهد، در حالی که این میزان برای کاربران با تحصیلات بالا تنها کمتر از یک درصد بود. در برخی موارد، این مدل از تقلید زبان غیرصحیح یا لهجههای اغراقآمیز نیز استفاده کرده است.
مدل همچنین از پاسخ به سوالات خاصی مانند موضوعات انرژی هستهای و آناتومی به طور خاص برای کاربران کمتر تحصیلکرده از ایران یا روسیه خودداری میکرد.
این یافتهها نشاندهنده الگوهای سوگیری اجتماعی-شناختی موجود در فرهنگهاست. همچنین نگرانیها در مورد شخصیسازی ویژگیها، مانند قابلیت حفظ اطلاعات در چتباتها، با توجه به رفتار متفاوت آنها با گروههای حاشیهای افزایش مییابد.
