מוסד רפואי שרוכש מערכת בינה מלאכותית קלינית נשאר אחראי כלפי המטופל, אך את התנאים שמגינים עליו אפשר לעגן רק לפני ההטמעה. מדריך לתיקוף לשימוש הקליני, למה לדרוש מהספק (מידע בריאותי, עדכוני גרסה, אחריות, יציאה), ולפיקוח מתמשך אחרי ההטמעה.
מוסדות רפואיים רוכשים מערכות בינה מלאכותית קליניות מספקים, ולא מפתחים אותן בעצמם, ודווקא ברגע ההטמעה נקבעת חלק גדול מהחשיפה: האחריות כלפי המטופל וכלפי הרגולטור נשארת על המוסד גם כשהמערכת חיצונית, אך את התנאים שמגינים עליו אפשר לעגן רק לפני ההטמעה, מול הספק. מאמר זה מפרט מה מוסד רפואי צריך לבדוק ולדרוש מספק של מערכת AI קלינית, לפני שהיא נכנסת לשימוש על מטופלים.
אחרי שהמערכת מוטמעת ומשולבת בעבודה, קשה לשנות תנאים, לדרוש שקיפות או להתנתק. לפני ההטמעה, לעומת זאת, למוסד יש כוח להגדיר את הכללים. לכן כל דרישה מהותית, תיקוף, מידע, אחריות, יציאה, צריכה להיסגר בשלב ההתקשרות ולא להישאר למשא ומתן אחרי שהמערכת כבר בשימוש קליני. מה שלא נדרש מראש קשה מאוד להשיג כשהמערכת כבר חלק מהשגרה.
לא די שהמערכת "עובדת". המוסד צריך לדעת על איזו אוכלוסייה היא תוקפה, לאיזה שימוש היא מורשית, והאם השימוש המתוכנן תואם את תחולת האישור כמכשיר רפואי. מערכת שתוקפה על אוכלוסייה אחת עלולה לבצע אחרת על המטופלים של המוסד, ושימוש מעבר למה שאושר הוא חשיפה בפני עצמו. התיקוף אינו שלב פורמלי אלא תנאי לבטיחות ולחוקיות השימוש.
חוזה רכש של מערכת קלינית צריך לעגן, לכל הפחות: זכות ביקורת על אופן הפעולה והביצועים; שקיפות לגבי שיטת הפעולה והמגבלות ברמה שמאפשרת לרופא להסביר החלטה; הסדר מידע מחמיר למידע בריאותי (היכן נשמר, איסור שימוש בו לאימון, מחיקה, אבטחה והודעה על אירוע); טיפול בעדכוני גרסה, משום שעדכון מודל יכול לשנות את התנהגותו ולחייב תיקוף מחדש; אחריות ושיפוי לנזק מכשל; ומנגנון יציאה שמונע תלות בספק יחיד.
סעיף שלא נדרש בהתקשרות קשה להחזיר אחריו.
גם כשהמערכת פותחה ותוחזקה בידי ספק, המטופל פונה למוסד ולרופא, והם הנושאים באחריות המקצועית והרפואית. שיפוי חוזי מהספק עשוי לכסות נזק כספי, אך אינו מעביר את האחריות הקלינית: הרופא אחראי להחלטה, והמוסד אחראי להטמעה בטוחה ולפיקוח. לכן רכש מערכת קלינית אינו החלטה טכנולוגית של מחלקת הרכש בלבד, אלא החלטה שמחייבת ליווי משפטי שמתרגם את החובות הרפואיות לתנאי ההתקשרות.
ההטמעה אינה סוף התהליך. מערכת בינה מלאכותית יכולה לסטות בביצועיה לאורך זמן, ועדכון גרסה יכול לשנות את התנהגותה, ולכן נדרש פיקוח מתמשך: מעקב אחר ביצועים, אחריות פנימית מוגדרת, ותיקוף מחדש כשהמערכת משתנה. מוסד שמטמיע מערכת ומניח שהיא "סגורה" לנצח חשוף לכך שהכלי שהיה בטוח בהטמעה כבר אינו מתאים. הפיקוח הוא חלק מהאחריות, לא תוספת.
מוסד רפואי שלקראת הטמעה צריך לתקף את המערכת לשימוש ולאוכלוסייה הרלוונטיים, לעגן בהתקשרות את דרישות השקיפות, המידע, עדכוני הגרסה, האחריות והיציאה, ולהגדיר פיקוח מתמשך ואחריות פנימית, הכל בליווי משפטי לפני הכניסה לשימוש קליני. המשרד, בהובלת ד״ר עו״ד אברהם ללום, מלווה גופים רפואיים ברכש ובהטמעה של מערכות בינה מלאכותית קליניות.
העיקרון שד״ר ללום חוזר אליו קבוע: מה שלא עוגן לפני ההטמעה אי אפשר לדרוש אחריה, ולכן ההגנה על המוסד ועל המטופל נכתבת לפני שהמערכת נוגעת במטופל הראשון.
הערה: אין באמור ייעוץ משפטי או רפואי או תחליף להם. רכש והטמעה של מערכת בינה מלאכותית קלינית כפופים לדין המשתנה, לרגולציה של מכשור רפואי ולדיני הגנת הפרטיות, ומחייבים בחינה פרטנית מול עורך דין מורשה ומול הגורמים המוסמכים.
מאמר זה הוא חלק מסדרת המדריכים של LALUM לבינה מלאכותית ברפואה. לתמונה המלאה ראו את אחריות רפואית ומסגרת הרגולציה.
נושא: בינה מלאכותית וממשל סיכונים
ייעוץ וחוות דעת נדל״ן · ייעוץ וחוות דעת AI · ייעוץ משפטי · גישור ויישוב סכסוכים · מאמרים · שאלות ותשובות · מבדק מוכנות · לקביעת שיחה