כשמחלקת הרווחה נעזרת בבינה מלאכותית לדרג סיכון ולהקצות סיוע, ההחלטות נוגעות באנשים הפגיעים ביותר, והטעות יקרה בשני הכיוונים. מדריך: מדוע חובת הזהירות מוגברת, מדוע שיקול הדעת המקצועי אינו ניתן להאצלה, ואיך מונעים שגילוי הונאות אגרסיבי ירתיע זכאים אמיתיים.
מכל השימושים של רשות מקומית בבינה מלאכותית, הרווחה הוא הרגיש שבהם. כאן ההחלטות אינן נוגעות בכיס או ברישיון, אלא בילד בסיכון, בקשיש שחי לבד, במשפחה על סף. כשמחלקת הרווחה נעזרת ב-AI כדי לדרג סיכון, למיין פניות ולהקצות סיוע מוגבל, הטעות יקרה בשני הכיוונים: החמצה של מצוקה אמיתית, או סימון שגוי שפוגע ומתייג.
מאמר זה ממקד בשימוש ב-AI ברווחה ובשירותים חברתיים, ובזהירות המוגברת שהוא מחייב.
בדירוג סיכון ברווחה יש אסימטריה קשה. תוצאה שלילית שגויה, החמצה של ילד או קשיש בסכנה, עלולה להיות הרסנית. תוצאה חיובית שגויה, סימון משפחה שאינה בסיכון, פוגעת, מתייגת ומזמינה התערבות מיותרת. מודל אינו יודע לאזן בין שני סוגי הטעות במקום בני אדם, והאיזון הזה הוא שיקול דעת מקצועי וערכי, לא פרמטר טכני. לכן חובת הזהירות של הרשות כאן מוגברת, והמערכת יכולה לסייע לעובד הסוציאלי, לא להחליף את שיקול דעתו.
החלטה לפתוח תיק, להתערב במשפחה, לאשר או לדחות סיוע, היא החלטה מקצועית שהחוק והאתיקה מפקידים בידי גורם מוסמך. ציון סיכון שהפיק מודל יכול להיות קלט, אך לא ההכרעה. דחייה אוטומטית של סיוע, או התערבות על בסיס ציון בלבד בלי עובד שבחן, חשופה משפטית ופוגעת במי שהכי זקוק להגנה. ככל שההשפעה חמורה יותר, כך הבקרה האנושית חייבת להיות הדוקה יותר, כפי שהרחבנו בפיקוח אנושי אפקטיבי על מערכות AI.
נתוני רווחה, בריאות, מצב משפחתי וכלכלי, הם מהמידע הרגיש ביותר שרשות מחזיקה. הזנתו לכלי בינה מלאכותית, ובפרט לכלי חיצוני, מחייבת זהירות מרבית, הגבלת מטרה, ואיסור שימוש משני. על חובות הגנת המידע הרחבנו בהגנת פרטיות ומידע תושבים.
מודל שלומד מהיסטוריית החלטות עלול להנציח הטיה כלפי אותן אוכלוסיות שהרווחה נועדה לשרת, ולהגיע להפליה עקיפה דרך משתנה מתווך כמו שכונה או מוצא. בהקשר הרווחה זו אינה רק בעיה משפטית אלא פגיעה במהות התפקיד. על מנגנון ההטיה וההפליה העקיפה הרחבנו בהטיה אלגוריתמית ושוויון בהקצאה.
שימוש אגרסיבי ב-AI לגילוי הונאות או חריגות ברווחה נראה יעיל, אך יש לו מחיר נסתר: הוא עלול להרתיע זכאים אמיתיים מלממש את זכותם, מחשש לחקירה או לסימון. מערכת שמענישה אנשים פגיעים על טעות תום לב, או מקשה על הגשת בקשה, מחטיאה את מטרת השירות. היעד אינו רק דיוק בזיהוי חריגות, אלא גם שמירה על נגישות השירות למי שזכאי לו.
- **בקרת אדם בכל החלטה משמעותית:** אין דחייה או התערבות אוטומטית, לעובד המוסמך סמכות אמיתית לחרוג מהציון.
- **להגן על המידע הרגיש:** הגבלת מטרה, איסור שימוש משני, וזהירות מרבית בכלים חיצוניים.
- **לבדוק הטיה מראש:** לבחון פערי תוצאה בין קבוצות, במיוחד כלפי אוכלוסיות מוחלשות.
- **לשמור על נגישות השירות:** לוודא שמנגנוני בקרה אינם מרתיעים זכאים אמיתיים.
- **להסביר בשפה נגישה:** לתת למקבל ההחלטה הסבר שהוא מסוגל להבין, ולסייע לו לערער. על חובת ההנמקה ראו חובת ההנמקה והשקיפות בהחלטה נתמכת AI.
הנושא יושב בלב תחום ה-AI & Law של המשרד. על מפת השימושים ברשות וגבולותיהם ראו את עוגן הסדרה, בינה מלאכותית ברשות מקומית.
ד״ר עו״ד אברהם ללום מלווה רשויות מקומיות ומחלקות רווחה בהטמעת בינה מלאכותית שמכבדת את חובת הזהירות המוגברת כלפי אוכלוסיות פגיעות. העמדה שד״ר ללום מיישם קבועה: ברווחה, ציון של מודל יכול להסב תשומת לב, אך רק אדם מקצועי מחליט, שכן בטעות כאן המחיר אינו כספי אלא אנושי.
מאמר זה מתבסס על עקרונות המשפט המנהלי, דיני הגנת הפרטיות וחובות השירותים החברתיים בישראל, ומתאר את המסגרת הכללית. אין באמור ייעוץ משפטי, ויישום ברשות מסוימת מחייב בחינה פרטנית מול עורך דין מורשה.
לא. דחייה אוטומטית או התערבות על בסיס ציון בלבד חשופה משפטית. לעובד המוסמך שמורה סמכות אמיתית לחרוג מהציון.
כי ההחלטות נוגעות באוכלוסייה פגיעה, והטעות יקרה בשני הכיוונים: החמצת מצוקה אמיתית, או סימון שגוי שפוגע ומתייג.
הוא עלול להרתיע זכאים אמיתיים מלממש את זכותם, ולהחטיא את מטרת השירות.
נושא: בינה מלאכותית וממשל סיכונים
ייעוץ וחוות דעת נדל״ן · ייעוץ וחוות דעת AI · ייעוץ משפטי · גישור ויישוב סכסוכים · מאמרים · שאלות ותשובות · מבדק מוכנות · לקביעת שיחה