כשרשות מקומית מקצה משאב מוגבל, מקום בגן, דיור ציבורי, סיוע או רישיון, באמצעות בינה מלאכותית, חובת השוויון המנהלית אינה נחלשת אלא מתחדדת. מדריך לרשות: איך הטיה מחלחלת למודל, מהי הפליה עקיפה דרך משתנה מתווך, ומה חובת הרשות להוכיח שההקצאה הוגנת ולבדוק את המודל מראש.
רשות מקומית מקצה כל העת משאבים מוגבלים: מקומות בגני ילדים, דיור ציבורי, סיוע ברווחה, מלגות, ורישיונות עסק. כשההקצאה נעשית בעזרת בינה מלאכותית, מתוך רצון להאיץ ולדייק, עולה סיכון ייחודי לגוף ציבורי: הטיה. אדם שמפלה פועל בניגוד לחוק, ומודל שמפלה עושה זאת בקנה מידה, בעקביות, ובמסווה של אובייקטיביות. חובת השוויון החלה על רשות מנהלית אינה נחלשת כשאלגוריתם מקצה, היא מתחדדת.
מאמר זה מסביר כיצד הטיה מחלחלת למודל הקצאה, מהי הפליה עקיפה דרך משתנה מתווך, ומה חובת הרשות כדי שההקצאה תישאר הוגנת וחוקית.
שוויון הוא מאבני היסוד של המשפט המנהלי. רשות המבחינה בין תושבים חייבת שההבחנה תהיה רלוונטית ומידתית, והנטל עליה להצדיק יחס שונה. מודל שמקצה משאב על בסיס ציון אינו משחרר את הרשות מהנטל הזה, הוא מעביר אותו לשאלה חדשה: מה המודל באמת מודד, ועל סמך מה. הרשות נשארת האחראית להחלטה, גם כשהניקוד הופק אוטומטית.
הטיה אינה דורשת כוונה. היא נכנסת בכמה דרכים שקטות:
- **נתוני עבר מוטים:** מודל שלומד מהחלטות עבר משכפל את ההטיות שהיו בהן. אם בעבר אוכלוסייה מסוימת קיבלה פחות, המודל ילמד זאת כ"נכון".
- **ייצוג חסר:** קבוצה שמופיעה מעט בנתונים מקבלת תחזיות פחות מדויקות, ולרעתה.
- **הגדרת מטרה צרה:** אופטימיזציה למדד אחד, כמו עלות, עלולה לפגוע שיטתית בקבוצה שנזקקת ליותר.
הסכנה המשפטית החמורה ביותר היא הפליה עקיפה. גם אם המודל אינו מקבל נתון אסור כמו מוצא או דת, הוא עשוי להשתמש במשתנה מתווך שקשור אליו הדוקות, למשל שכונת מגורים, ולהגיע לאותה תוצאה מפלה בדרך עקיפה. "לא הזנו את המוצא" אינה הגנה כשהתוצאה בפועל מפלה על בסיסו. התוצאה, לא הכוונה, היא שנבחנת.
- **לבדוק את המודל מראש:** לבחון את פערי התוצאה בין קבוצות לפני ההפעלה, ולא רק לאחר תלונה. על עקרון הבדיקה המוקדמת והפיקוח הרחבנו בפיקוח אנושי אפקטיבי על מערכות AI.
- **לנמק יחס שונה:** להיות מסוגלת להצביע על הטעם הרלוונטי לכל הבחנה, ולהבטיח מסלול ערר אנושי. על חובת ההנמקה הרחבנו בחובת ההנמקה והשקיפות בהחלטה נתמכת AI.
- **לשמור על בקרת אדם בהקצאה רגישה:** ככל שהמשאב קריטי יותר לתושב, כך ההכרעה הסופית צריכה להישאר בידי גורם מוסמך שיכול לחרוג מהציון.
- **לתחום את הנתונים:** לבדוק אילו משתנים המודל משתמש בהם, ולזהות מתווכים חשודים. על מידע התושבים הרחבנו בהגנת פרטיות ומידע תושבים.
- **לדרוש מהספק שקיפות וביקורת:** זכות לבחון את פערי התוצאה ואת המשתנים חייבת להיות מעוגנת כבר בהתקשרות.
הנושא יושב בלב תחום ה-AI & Law של המשרד. הוא נפגש גם עם הנדל״ן, שכן הקצאת דיור ציבורי ורישוי עסקים הן בדיוק החלטות הקצאה שרשות מריצה, ובהן הטיה אינה רק פגם מוסרי אלא עילה לתקיפה מנהלית. על מפת השימושים וגבולותיהם ראו את עוגן הסדרה, בינה מלאכותית ברשות מקומית.
ד״ר עו״ד אברהם ללום מלווה רשויות מקומיות ותאגידים עירוניים בבניית הקצאה מבוססת בינה מלאכותית שעומדת בחובת השוויון. העמדה שד״ר ללום מיישם קבועה: מודל הקצאה שלא נבדק מראש להטיה אינו מוכן להפעלה, שכן אובייקטיביות למראית עין אינה הגנה מפני תוצאה מפלה.
מאמר זה מתבסס על עקרונות המשפט המנהלי הישראלי ועל עקרונות השוויון ואיסור ההפליה, ומתאר את המסגרת הכללית. אין באמור ייעוץ משפטי, ויישום ברשות מסוימת מחייב בחינה פרטנית מול עורך דין מורשה.
כן, ואף מתחדדת. הנטל להצדיק יחס שונה נשאר על הרשות גם כשההקצאה נעשית לפי ציון של מודל.
שימוש במשתנה מתווך שקשור הדוקות לנתון אסור, כמו שכונת מגורים כמתווך למוצא, שמגיע לתוצאה מפלה בדרך עקיפה. התוצאה, לא הכוונה, היא שנבחנת.
לבדוק את פערי התוצאה בין קבוצות מראש, לנמק כל יחס שונה, ולשמור בקרת אדם בהקצאה רגישה.
נושא: בינה מלאכותית וממשל סיכונים
ייעוץ וחוות דעת נדל״ן · ייעוץ וחוות דעת AI · ייעוץ משפטי · גישור ויישוב סכסוכים · מאמרים · שאלות ותשובות · מבדק מוכנות · לקביעת שיחה