כשמכונות לוקחות החלטות גורליות על החיים שלנו - והן לא תמיד הוגנות
האם ידעתם שבינה מלאכותית יכולה להיות גזענית? נשמע מוזר, אבל זה בדיוק מה שקורה היום ברחבי העולם. מערכות בינה מלאכותית שמחליטות מי יקבל עבודה, מי יקבל הלוואה ומי ייעצר על ידי המשטרה, מתגלות כמפלות באופן שיטתי נגד נשים, מיעוטים וקבוצות מוחלשות אחרות. המקרים שנחשפו בשנים האחרונות מראים תמונה מדאיגה של טכנולוגיה שאמורה להיות "אובייקטיבית" אבל בפועל מנציחה ומחריפה דעות קדומות קיימות בחברה.
כשהמחשב מחליט מי יקבל עבודה - ונותן עדיפות לגברים
בשנת 2018 התגלה אחד המקרים המזעזעים ביותר של הטיה בגיוס עובדים. חברת טכנולוגיה גדולה (שהתגלתה מאוחר יותר כאמזון) פיתחה כלי בינה מלאכותית לסינון קורות חיים. הכוונה הייתה טובה - לחסוך זמן ולמצוא את המועמדים הטובים ביותר באופן אוטומטי. אבל התוצאה הייתה הרסנית.
המערכת למדה מנתוני הגיוס ההיסטוריים של החברה, שהיו מוטים לטובת מועמדים גברים. התוצאה? הבינה המלאכותית התחילה להעניש באופן שיטתי כל קורות חיים שהכילו את המילה "נשים" - למשל "מועדון שחמט לנשים" או "קפטן קבוצת כדורעף נשים באוניברסיטה". החברה נאלצה לנטוש את הפרויקט לחלוטין.
במקרה אחר, מערכת גיוס מונעת בינה מלאכותית הביאה לתביעה משפטית והסדרה של 356,000 דולר. המערכת דחתה באופן אוטומטי מועמדות נשים מעל גיל 55 ומועמדים גברים מעל גיל 60, מה שהפר את החוקים נגד אפליה על בסיס גיל ומין.
חוקרים מאוניברסיטת וושינגטון הוכיחו את הבעיה בניסוי פשוט: הם שלחו למערכות בינה מלאכותית שלושה קורות חיים זהים לחלוטין, שהבדל היחיד ביניהם היה השם של המועמד. התוצאות הראו אפליה שיטתית בהחלטות הגיוס.
כרטיס האשראי של אפל: כשאלגוריתם נותן לגבר פי 20 יותר מאשתו
אחד המקרים הכי מתוקשרים של הטיה בהלוואות התגלה ב-2019 סביב כרטיס האשראי של אפל. דיוויד היינמאייר האנסון, יזם טכנולוגיה מוכר, גילה שהוא קיבל מסגרת אשראי גבוהה פי 20 מאשתו - למרות שלה ניקוד אשראי גבוה יותר והכנסה גבוהה יותר ממנו.
גם סטיב ווזניאק, מייסד אפל, חווה דבר דומה - הוא קיבל מסגרת אשראי פי 10 מאשתו, ללא כל הצדקה הגיונית. כשהם פנו לגולדמן זקס (הבנק שמנהל את כרטיס האשראי) לקבלת הסבר, הם נענו בתשובות מתחמקות על "האלגוריתם" ללא הסבר אמיתי.
הבעיה לא הסתכמה במקרים בודדים. מחקר של מכון ברוקינגס מצא שמערכות ניקוד אשראי המבוססות על בינה מלאכותית מנציחות אי-שוויון גזעי. קוני בתים לבנים היו בעלי ניקוד אשראי גבוה ב-57 נקודות בממוצע לעומת קונים שחורים, ו-33 נקודות יותר מקונים היספנים.
הנתונים עוד יותר מזעזעים: יותר מאחד מכל חמישה אמריקנים שחורים בעלי ניקוד FICO מתחת ל-620, לעומת רק אחד מכל 19 אמריקנים לבנים. זה לא רק סטטיסטיקה - זה משפיע על יכולתם של אנשים לקנות בית, לפתוח עסק או פשוט לקבל אשראי להוצאות חיוצאיות.
כשהמחשב מחליט מי יקבל בית - ומפלה נגד מיעוטים
בתחום הדיור, אלגוריתם בשם SafeRent Scores משמש לבדיקת מועמדים לשכירות. המערכת מסתמכת על נתוני ניקוד אשראי המשקפים פערים גזעיים היסטוריים, ואינה לוקחת בחשבון שוברי בחירת דיור הממומנים על ידי הממשל הפדרלי. התוצאה: יותר דחיות באופן יחסי למועמדים שחורים והיספנים.
מחקר של המכון העירוני (Urban Institute) מ-2024 מצא ממצאים מדאיגים נוספים: לווים שחורים וחומים היו בעלי סיכוי גבוה פי שניים להיות מסורבים להלוואות לעומת לווים לבנים. כלי בינה מלאכותית ששמשו מלווים גבו יתר על המידה ממיליוני אנשים צבעוניים המבקשים הלוואות לדיור או מימון מחדש.
חלק מאלגוריתמי ניקוד האשראי אף מענישים באופן לא הוגן לווים ממיעוטים על ידי הסתמכות על נתוני פרוקסי כמו מיקוד השכונה, מה שמנציח מעגלי אי-שוויון כלכלי.
השיטור הדיגיטלי: כשהמחשב מחליט מי פושע
אחד המקרים הכי מפורסמים של הטיה בבינה מלאכותית בשיטור הוא מערכת COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). המערכת אמורה לחזות את הסיכוי של נאשם לחזור לפשיעה, ובתי המשפט מסתמכים עליה בהחלטות על מאסר או שחרור.
חקירה של ProPublica ב-2016 חשפה הטיה גזעית חמורה במערכת:
• המערכת סיווגה באופן שגוי כמעט פי שניים יותר נאשמים שחורים (45%) כבעלי סיכון גבוה לעומת נאשמים לבנים (23%)
• בטעות תייגה יותר נאשמים לבנים כבעלי סיכון נמוך שאחר כך אכן חזרו לפשיעה - 48% מנאשמים לבנים לעומת 28% מנאשמים שחורים
• כאשר מתבצע שליטה על כל המשתנים האחרים כמו פשעים קודמים, גיל ומין, נאשמים שחורים סווגו כבעלי סיכוי גבוה יותר ב-77%
מקרה זועם אחר התרחש בינואר 2020 בדטרויט. רוברט וויליאמס, עובד במוסך רכב, נעצר בטעות לאחר שאלגוריתם זיהוי פנים זיהה אותו באופן שגוי כחשוד בשוד שהתרחש שנה קודם לכן. טכנולוגיית זיהוי הפנים ידועה כפחות מדויקת על גוני עור כהים יותר, מה שמעלה חששות רציניים לגבי השימוש בה במשטרה.
מערכות שיטור מנבא (Predictive Policing) נמצאו גם הן כמכוונות יתר על המידה לשכונות עם אוכלוסיות צבעוניות, ומשקפות ומחריפות הטיות שיטתיות קיימות בנתוני אכיפת החוק.
למה זה קורה? השורשים של הבעיה
הבעיה לא נובעת בעיקר מכוונה מודעת להפלות באלגוריתמים, אלא משלושה גורמים עיקריים:
נתוני אימון לא מייצגים: כשמערכות בינה מלאכותית לומדות מנתונים היסטוריים שמשקפים אפליה שיטתית, הן לומדות ומאוטמטות את אותם דפוסים בקנה מידה גדול. למשל, אם היסטורית יותר גברים התקבלו לתפקידים טכנולוגיים, המערכת תלמד שגברים "מתאימים יותר" לתפקידים אלה.
חוסר מגוון בצוותי הפיתוח: כשצוותי הפיתוח לא מגוונים מספיק, הם לא תמיד מזהים הטיות פוטנציאליות במערכות שהם בונים. מה שנראה "נורמלי" למפתח אחד עלול להיות מפלה עבור קבוצות אחרות.
משתני פרוקסי: גם כשהאלגוריתם לא מקבל ישירות מידע על מין, גזע או גיל, הוא יכול להשתמש במשתנים אחרים הקשורים למאפיינים אלה - כמו מיקוד מגורים, בית ספר שבו למד המועמד, או סוג הפעילויות שהוא מעורב בהן.
מה זה אומר על כולנו?
ההשפעות של הטיית בינה מלאכותית לא מוגבלות למקרים הבודדים שהזכרנו. בעידן שבו אלגוריתמים מחליטים על חלקים הולכים וגדלים מחיינו - מהמודעות שאנו רואים ברשתות החברתיות ועד למחירי הביטוח שאנו משלמים - הבעיה הזו נוגעת לכולנו.
הדבר המדאיג ביותר הוא שבעוד האפליה האנושית יכולה להיות גלויה וניתנת לזיהוי, הטיית אלגוריתמים מוסתרת מאחורי מסך של "אובייקטיביות מדעית". כשבנק מסרב לנו להלוואה בגלל "האלגוריתם", קשה מאוד להוכיח ולטעון נגד אפליה.
מחקרים מראים שאנשים נוטים לסמוך על החלטות של מכונות יותר מאשר על החלטות של בני אדם, תופעה הנקראת "Automation Bias". זה אומר שהטיות באלגוריתמים עלולות להתקבל בקלות רבה יותר ולהיות קשות יותר לערעור.
בישראל, למרות שאנחנו מדינה טכנולוגית מתקדמת, הנושא של הטיה בבינה מלאכותית זוכה לתשומת לב מוגבלת יחסית. חברות ישראליות רבות מפתחות ומשתמשות במערכות בינה מלאכותית, אבל הדיון הציבורי על ההשלכות האתיות והחברתיות של הטכנולוגיות האלה עדיין בחיתוליו.
מה אפשר לעשות? צעדים לעתיד יותר הוגן
למרות המורכבות של הבעיה, יש דרכים להילחם בהטיית בינה מלאכותית:
רגולציה ופיקוח: הסתן האירופי מוביל עם תקנת AI Act, שמטילה חובות על חברות לבחון הטיות במערכותיהן. גם בארצות הברית מתפתחת הסדרה בנושא, והכוונה היא שדרושה חקיקה דומה גם בישראל.
שקיפות ואחריותיות: חברות צריכות להיות מחויבות להסביר איך האלגוריתמים שלהן עובדים, במיוחד בהחלטות הגורליות שמשפיעות על חיי אנשים. זכות ה"הסבר" צריכה להיות בסיסית כמו זכות הערעור.
מגוון בפיתוח: צוותי פיתוח מגוונים יותר יכולים לזהות בעיות פוטנציאליות לפני שהמערכת מיושמת. זה כולל לא רק מגוון דמוגרפי אלא גם מגוון בתחומי מומחיות - כולל חוקרים חברתיים, פסיכולוגים ומומחי אתיקה.
בדיקות מתמשכות: במקום לבדוק הטיה רק בשלב הפיתוח, צריך לבדוק את המערכות באופן מתמשך לאחר ההטמעה, כי הטיות יכולות להתפתח עם הזמן ועם שינוי בנתונים.
הטייקאווי: עתיד שבו הטכנולוגיה משרתת את כולנו
בינה מלאכותית יכולה להיות כלי מדהים לטובת כולנו - אבל רק אם אנחנו דואגים שהיא לא תנציח ותחזק את הדעות הקדומות שלנו. החדשות הטובות הן שאנחנו מתחילים להבין את הבעיה ולפתח כלים להתמודדות איתה. החדשות הפחות טובות הן שעדיין יש דרך ארוכה לעבור.
כצרכנים ואזרחים, אנחנו צריכים להיות מודעים לכך שלא כל החלטה של מכונה היא בהכרח הוגנת או נכונה. כשאנחנו נתקלים במקרים חשודים של אפליה אלגוריתמית - בין אם זה בגיוס לעבודה, קבלת הלוואה, או כל תחום אחר - חשוב לשאול שאלות, לדרוש הסברים ולערער במידת הצורך.
העתיד של בינה מלאכותית הוא בידיים שלנו. אנחנו יכולים לבחור בין עולם שבו אלגוריתמים מחזקים אי-שוויון, לבין עולם שבו הם עוזרים לבנות חברה יותר הוגנת ושוויונית. הבחירה הזו מתקבלת עכשיו - בחדרי הישיבות של חברות הטכנולוגיה, במשרדי הממשלה ובדיונים הציבוריים שאנחנו מנהלים כחברה.
תיאור המאמר:
איך מערכות בינה מלאכותית מפלות בגיוס, הלוואות ושיטור - מקרים מתועדים והפתרונות האפשריים לבעיה הגוברת.
מילים מרכזיות:
בינה מלאכותית, הטיה באלגוריתמים, אפליה דיגיטלית, גיוס עובדים, הלוואות, זיהוי פנים, COMPAS
