به گزارش خبردونی، تفاوت‌های موجود در خروجی‌های مدل‌های هوش مصنوعی همواره به معنای تبعیض نیست. در برخی موارد، این تفاوت‌ها می‌تواند به ویژگی‌های واقعی داده‌ها برگردد، و همچنین ممکن است معاییر آماری برای یک کاربرد خاص مناسب باشد، اما در مورد دیگر کاربردها صدق نکند. بنابراین، شناسایی سوگیری نیازمند بررسی دقیق داده‌ها، اهداف سیستم، روش‌های ارزیابی و تأثیرات واقعی تصمیمات است.
یکی از تصورات نادرست این است که استفاده از فرمول‌های ریاضی در مدل‌ها به معنای عینی بودن و بی‌طرفی نتایج است. در واقع، ریاضیات می‌تواند فرآیند تصمیم‌گیری را سازمان‌دهی کند، اما تضمینی برای بی‌طرفی مسأله یا داده‌های ورودی نیست.
**عوامل شکل‌گیری سوگیری در سیستم‌های هوش مصنوعی**
سوگیری می‌تواند از هر مرحله‌ای در چرخه زندگی یک سیستم هوش مصنوعی ایجاد شود، از انتخاب موضوع و جمع‌آوری داده‌ها، تا آموزش مدل و حتی نحوه بهره‌برداری کاربران از نتایج.
**۱. سوگیری در داده‌های آموزشی**
مدل‌های یادگیری ماشین براساس الگوهای موجود در داده‌ها آموزش می‌بینند. در صورتی که داده‌ها نمایانگر مناسبی از جامعه نباشند، نتایج مدل می‌تواند در بین گروه‌های مختلف نابرابر باشد. به‌عنوان مثال، اگر یک سامانه تشخیص تصویر با داده‌هایی آموزش ببیند که نمایندگی دقیقی از جمعیت نداشته باشد، دقت آن در شناسایی گروه‌های کمتر نمایندگی شده پایین می‌آید.
کیفیت پایین داده‌ها، برچسب‌گذاری نادرست، اطلاعات outdated و شیوه تعریف متغیرها نیز می‌تواند تأثیر به‌سزایی در نتایج داشته باشد.
**۲. سوگیری در انتخاب نمونه**
مسأله ممکن است از انتخاب افرادی باشد که وارد مجموعه داده می‌شوند. اگر اطلاعات از افرادی جمع‌آوری شود که دسترسی به اینترنت دارند، این داده‌ها نمی‌توانند نمایانگر کل جامعه باشند. در سامانه‌های هوش مصنوعی، عدم نمایش صحیح گروه‌ها ممکن است تصویر نادرستی از جامعه ایجاد کند.
**۳. سوگیری در طراحی هدف**
حتی اگر داده‌ها مناسب باشند، تعیین هدف مدلی که باید بهینه شود، می‌تواند بر نتایج تأثیر بگذارد. برای مثال، اگر شرکتی بخواهد سیستمی طراحی کند که متقاضیانی را بیابد که به «کارکنان موفق گذشته» شبیه هستند و اگر این موفقیت در گذشته به شکل غیرمتوازن بوده باشد، مدل ممکن است به تکرار الگوهای قبلی منجر شود.
**چالش‌های سوگیری در الگوریتم‌ها**
یک مثال شناخته‌شده از سوگیری در استخدام به سامانه آمازون در سال ۲۰۱۸ مربوط می‌شود. این شرکت ابزاری طراحی کرده بود که براساس داده‌های متقاضیان گذشته، رزومه‌ها را رتبه‌بندی می‌کرد. در آزمایش‌ها مشخص شد که این سامانه با رزومه‌هایی که نشانه‌هایی از جنسیت زن داشتند، به شیوه‌ای نامناسب برخورد می‌کند. نهایتاً آمازون این پروژه را متوقف کرد.
این مثال نشان‌دهنده این است که مدلی که به‌منظور پیش‌بینی آینده به گذشته متکی است، ممکن است فقط به یادآوری الگوهای موفق بسنده نکند بلکه نابرابری‌های موجود در گذشته را نیز بازتولید کند.
**سوگیری در حوزه‌های مالی و قضایی**
حوزه مالی نیز به دلیل پیامدهای جدی تصمیمات الگوریتمی مورد توجه قرار دارد. سامانه‌های اعتبارسنجی ممکن است اطلاعات مختلفی را برای سنجش احتمال بازپرداخت وام تحلیل کنند. اگر متغیرهای انتخاب شده توسط الگوریتم با شرایط اجتماعی-اقتصادی خاص ترکیب شوند، ممکن است منجر به تفاوت‌های ناعادلانه میان گروه‌ها شود.
بنابراین، بررسی دقت کلی مدل کافی نیست و باید به نرخ خطا در هر گروه نیز توجه کرد.از جمله موارد مورد بحث در زمینه سوگیری الگوریتمی، ابزارهای ارزیابی احتمال تکرار جرم است. تحقیقی که در سال ۲۰۱۶ از سوی ProPublica منتشر شد، به بررسی ابزار COMPAS در فلوریدا پرداخت و نشان داد که تفاوت‌هایی در نوع خطاهای سیستم میان متهمان سیاه‌پوست و سفیدپوست وجود دارد. به‌عنوان مثال، متهمان سیاه‌پوستی که بعداً جرمی مرتکب نشدند، تقریبا دو برابر بیش از متهمان سفیدپوست در گروه پرخطر طبقه‌بندی شده بودند. برخلاف آن، متهمان سفیدپوستی که بعداً به جرم بازگشتند، بیشتر از متهمان سیاه‌پوست در گروه کم‌خطر قرار گرفتند.
این مسأله نشان می‌دهد که مبحث «عدالت الگوریتمی» پیچیده‌تر از آن است که به‌نظر می‌رسد. یک سیستم ممکن است بر اساس معیار آماری عملکرد مشابهی برای دو گروه نشان دهد، اما در معیارهای دیگر تفاوت‌های قابل توجهی داشته باشد. ازاین‌رو، طبقه‌بندی یک الگوریتم به‌عنوان «دقیق» به تنهایی برای قضاوت در مورد عدالت آن کافی نیست.
### آیا سوگیری به الگوریتم‌های قدیمی محدود می‌شود؟
با ظهور مدل‌های زبانی بزرگ و هوش مصنوعی مولد، سوگیری ابعاد جدیدی به خود گرفته است. این مدل‌ها از حجم بالایی از متون و داده‌های انسانی یاد می‌گیرند و ممکن است کلیشه‌های موجود در این داده‌ها را بازتاب دهند. گزارشی از دانشگاه استنفورد در سال ۲۰۲۵ به پژوهش‌هایی اشاره دارد که حتی مدل‌هایی که به‌منظور کاهش سوگیری طراحی شده‌اند، ممکن است در آزمون‌ها الگوهای سوگیرانه نشان دهند.
این مسئله بدان معنا نیست که هر پاسخ یک مدل زبانی به‌طور خودکار سوگیرانه است، بلکه تأکید بر این است که ارزیابی مداوم این سیستم‌ها ضروری است.
### چگونه می‌توان سوگیری هوش مصنوعی را کاهش داد؟
کاهش سوگیری در هوش مصنوعی نیازمند اقداماتی است، اما راه‌حل واحدی برای حذف کامل آن وجود ندارد.
#### بررسی داده‌ها قبل از آموزش
یکی از نخستین مراحل، ارزیابی کیفیت داده‌هاست. توسعه‌دهندگان باید از منبع داده‌ها، نمایندگی گروه‌ها و امکان بروز خطا در برچسب‌گذاری مطلع باشند.
#### سنجش عملکرد مدل برای گروه‌های مختلف
میانگین دقت مدل ممکن است تصویر جامعی ارائه ندهد. شاخص‌هایی مثل نرخ مثبت و منفی کاذب برای گروه‌های مختلف باید بررسی شوند.
#### مشارکت انسان در فرایند
در تصمیمات حساس، تکیه صرف بر خروجی الگوریتم به‌عنوان حقیقت نهایی می‌تواند خطرناک باشد. خروجی هوش مصنوعی باید به‌عنوان یکی از ورودی‌های تصمیم‌گیری انسانی مورد استفاده قرار گیرد. البته نظارت انسانی به‌تنهایی کافی نیست.
#### ارزیابی مداوم مدل پس از عرضه
سوگیری فقط در مراحل اولیه توسعه اهمیت ندارد. شرایط در دنیای واقعی تغییر می‌کند و باید عملکرد و ریسک‌ها به‌طور مداوم رصد شوند.
### سوگیری همیشه عمدی نیست
نکته مهم درباره سوگیری هوش مصنوعی این است که ایجاد نتایج تبعیض‌آمیز الزاما به برنامه‌نویسی متعصب نیاز ندارد. دلایل سوگیری می‌تواند به‌طور ناخواسته از ترکیب داده‌های ناقص، طراحی نادرست یا محدودیت‌های فنی ناشی شود.
### آینده هوش مصنوعی؛ بی‌طرفی یا مسئولیت‌پذیری؟
انتظار «بی‌طرفی مطلق» از هوش مصنوعی شاید غیرواقعی باشد، و به‌جای آن باید به دنبال ایجاد سیستم‌های مسئولیت‌پذیر بود.توسعه فناوری هوش مصنوعی به‌طور طبیعی با چالش‌هایی روبرو است. این فناوری در یک فضای اجتماعی ایجاد می‌شود و نمی‌تواند به‌سادگی با یک کد، تمامی پیش‌داوری‌ها را از بین ببرد. هدف اصلی باید بر ایجاد سیستم‌هایی متمرکز باشد که سوگیری‌های موجود را شناسایی، اندازه‌گیری و مستند کنند و همچنین تحت کنترل قرار گیرند.
مؤسسه استاندارد و فناوری ملی ایالات متحده (NIST) برای هوش مصنوعی قابل اعتماد، ویژگی‌هایی همچون انصاف و مدیریت سوگیری، اعتبار، امنیت، شفافیت، قابل توضیح بودن، حفظ حریم خصوصی و مسئولیت‌پذیری را مهم می‌داند.
سوال اساسی تنها این نیست که آیا هوش مصنوعی سوگیری دارد، بلکه مسائل مهم‌تری همچون منبع سوگیری، گروه‌های تحت تأثیر، روش‌های اندازه‌گیری و فرایندهای اصلاح آن مطرح می‌شود.
هوش مصنوعی می‌تواند فرآیند تصمیم‌گیری را سریع‌تر، کم‌هزینه‌تر و دقیقتری کند، اما سرعت و مقیاس بالا ممکن است خطا را نیز سریع‌تر و در مقیاس وسیع‌تری گسترش دهد. با افزایش نفوذ الگوریتم‌ها در زندگی روزمره، شناخت سوگیری‌های آن‌ها از اهمیت بیشتری برخوردار خواهد بود.
مسئولیت‌پذیری در حوزه هوش مصنوعی با یک سوال ابتدایی آغاز می‌شود: اگر یک انسان چنین تصمیمی می‌گرفت، از او خواسته می‌شد که توضیح دهد چرا این تصمیم را اتخاذ کرده است؛ بنابراین چرا باید از یک الگوریتم انتظار کمتری داشته باشیم؟
منابع مورد اشاره شامل چهار متن معتبر است که بررسی‌های دقیق بر روی سوگیری، انصاف و ویژگی‌های هوش مصنوعی قابل اعتماد را ارائه می‌دهند.
