הדגמה של ספק בודקת מה שהספק בחר להראות. חמש שאלות לכל ספק, ההבדל בין צ׳אטבוט כללי לכלי שמבוסס על מקורות, ומערך בדיקה של עשרים שאלות מהעבודה שלכם שמחליף את ההחלטה לפי רושם.
בחירת כלי Legal AI נעשית לרוב לפי הדגמה. הספק מראה שאלה, הכלי עונה בביטחון ובעברית רהוטה, וההחלטה נסגרת. הבעיה היא שהדגמה בודקת את מה שהספק בחר להראות, ולא את מה שהמשרד שלכם יצטרך בעוד חצי שנה: תיק מורכב, חומר בעברית, חוק ישראלי שהשתנה לאחרונה ושאלה שאין לה תשובה חד משמעית. המאמר מציע דרך בדיקה שמחליפה את ההדגמה במבחן שאתם מריצים בעצמכם.
ד״ר עו״ד אברהם ללום מלווה משרדים ומחלקות משפטיות בבחירת כלים כאלה והטמעתם. שאלות הסודיות והגנת המידע מול הספק נדונות במאמר נפרד, והמאמר הזה מתמקד באיכות התשובה.
צ'אטבוט כללי עונה מתוך מה שהמודל "זוכר" מהאימון. כלי שמבוסס על שליפת מקורות (RAG) מחפש קודם במאגר מוגדר, למשל חקיקה, פסיקה או המסמכים של המשרד, ומנסח את התשובה על בסיס מה שמצא. ההבדל המעשי הוא שבכלי מהסוג השני אפשר, ולכן גם חייבים, לדרוש הפניה למקור לכל קביעה. כלי שמחזיר תשובה בלי מקור שאפשר לפתוח ולקרוא אינו כלי שאפשר לסמוך עליו בעבודה משפטית, בלי קשר לדיוק הממוצע שלו.
אבל גם RAG אינו מבטיח אמת: הכלי יכול לשלוף מקור לא רלוונטי, לצטט אותו לא נכון או להשמיט את החלק שסותר את התשובה. ההפניה היא נקודת התחלה לבדיקה ולא תחליף לה.
מה המאגר? איזו חקיקה ואיזו פסיקה נכללות, עד איזה תאריך ובאיזו תדירות מתעדכן. בעברית הפער הזה גדול במיוחד, ומאגר מערבי עם כיסוי חלקי של הדין הישראלי ייתן תשובות שנשמעות נכון ומבוססות על דין זר.
האם כל קביעה מקושרת למקור שאפשר לפתוח? והאם אפשר לראות את הקטע המדויק שעליו התשובה נשענת, ולא רק את שם המסמך?
האם אפשר לשחזר תשובה? אם אותה שאלה מחזירה תשובה שונה בכל פעם, אי אפשר לבקר אותה, ולא אפשר להסביר ללקוח או לבית משפט איך הגעתם אליה.
מה קורה כשאין תשובה? כלי טוב אומר "לא מצאתי". כלי שמייצר תשובה לכל שאלה הוא הכלי המסוכן.
מה נשמר ביומן? אילו שאלות נשאלו, על ידי מי, מול איזה מקור ובאיזו גרסה של הכלי. בלי יומן אין בקרה, ובלי בקרה אין אחריות שאפשר להוכיח.
לפני חתימה בונים מערך בדיקה של עשרים עד שלושים שאלות מהעבודה האמיתית של המשרד, וכולל בו ארבעה סוגים.
שאלות שיש להן תשובה ברורה שאתם מכירים: מודדות דיוק בסיסי.
שאלות על שינוי חקיקה או פסיקה עדכנית: מודדות עדכניות המאגר.
שאלות שאין להן תשובה במאגר, או שהמידע בשאלה שגוי: בודקות אם הכלי מודה שאינו יודע או ממציא.
שאלה אחת או שתיים שמבוססות על מסמך אמיתי שלכם, בעברית, עם ניסוח לא סטנדרטי: בודקות את העבודה בתנאים של המשרד ולא של ההדגמה.
את הבדיקה מריץ מי שיודע את התשובות, ולא מי שמוכר או מי שנהנה מהכלי. לכל תשובה רושמים: נכונה, נכונה חלקית, שגויה או הזויה, והאם המקור שהוצג באמת תומך בה. כלי שיוצר אפילו הזיה אחת מסוכנת בתוך עשרים שאלות צריך לעבור בדיקה נוספת לפני שמכניסים אותו.
שאלה אחת מוצלחת אינה מדד. אורך התשובה ורהיטות הניסוח אינם מדד. ומספר התכונות ברשימה אינו מדד, כי כל תכונה נוספת היא עוד משטח שדורש בקרה.
מעבר למחיר הרישיון: כמה שעות בקרה כל תוצר דורש, מה קורה לנתוני העבודה אם עוברים לכלי אחר, והאם הספק מחייב בלי תמורה להתאמה לגרסה חדשה של המודל. כלי ששינוי גרסה אצל הספק משנה את התשובות שלו בלי התראה הופך כל בקרה קודמת לחסרת תוקף, ולכן כדאי לדרוש התראה וזמן הסתגלות.
הבחירה הנכונה היא זו שעוברת מבחן שרצתם בעצמכם על העבודה שלכם, ולא זו שהרשימה שלה ארוכה או ההדגמה שלה חלקה. ד״ר ללום מלווה משרדים בבניית מערך בדיקה כזה ובהחלטת ההטמעה. מאמר זה מידע כללי ואינו ייעוץ משפטי.
נושא: בינה מלאכותית וממשל סיכונים
ייעוץ וחוות דעת נדל״ן · ייעוץ וחוות דעת AI · ייעוץ משפטי · גישור ויישוב סכסוכים · מאמרים · שאלות ותשובות · מבדק מוכנות · לקביעת שיחה