"כיום חברות לא יכולות לצפות איך המודל שלהן יתנהג", אמר לכלכליסט מייסד וסמנכ"ל התפעול של קוואליפייר, גלעד עברי. "זה מייצר המון סיכונים לחברה. המערכת שלנו בודקת את המודלים כל הזמן, ובזמן אמת יכולה למנוע מהם לענות תשובות מסוכנות". בפברואר היתה קוואליפייר אחת מ־16 חברות, והישראלית היחידה, שנבחרו להשתתף בתוכנית Google for Startups Growth Academy: AI for Cybersecurity, במסגרתה תקבל סיוע מגוגל בפעילות הפיתוח העסקי שלה.
עברי הקים את קוואליפייר בשנה שעברה עם אחיו דרור, שמכהן כסמנכ"ל טכנולוגיות. אחרי זמן קצר הצטרף לצוות המייסד אריאל דן, שקיבל את תפקיד המנכ"ל. "בעבודה הקודמת עבדתי בסטארט־אפ Vianai, שעוד לפי ש־ChatGPT יצא בנה מוצרים בעבור הדור הראשון של מודלי שפה גדולים (LLMs)", סיפר גלעד עברי. "הבנו מהר מאוד שיש הרבה התנהגות בלתי צפויה של המודל. הוא היה טועה, ממציא, כל התופעות שאנחנו מכירים היטב היום. בנובמבר 2022 יצא ChatGPT, התחיל המון ביקוש והייפ, ודרור ואני זיהינו את ההזדמנות בתור הרגע המתאים. עזבנו הכל והלכנו להקים את קוואליפייר. בלי מימון, לפני שהיה אפילו אבטיפוס למוצר. ראינו את הצורך".
אילו בעיות זיהיתם?
עברי: "הנטייה של מודלי שפה לענות בצורה קוהרנטית מייצרת ציפייה שהמודל יהיה חכם ויידע על מה הוא מדבר. אבל האמת היא שזה בסך הכל תוכי. מודל יודע לייצר טקסט, אבל לא לאמת אם הוא נכון. אם אני רוצה להשתמש במודל לשירות לקוחות, למשל, הוא לא מודע למה שמצפים ממנו, איך הוא אמור להתנהג ומה מותר לו לעשות. זה מייצר אתגר לחברות. אם הן לא יכולות לצפות איך המודל יתנהג, זה מייצר המון סיכונים לחברה, למותג, סיכונים רגולטוריים אם המודל עושה משהו אסור או עובר על החוק".
דן: "לדוגמה, לקוח של אייר קנדה שוחח עם הצ'טבוט של החברה, אמר שהוא טס להלווייה וביקש כרטיס חינם. הצ'טבוט אמר, 'תפנה לשירות לקוחות ותקבל כרטיס חינם'. כמובן שזו לא המדיניות של החברה, והיא סירבה. הלקוח תבע וניצח. הסיבה היא שמבחינה משפטית, הצ'טבוט נחשב למייצג את החברה. חסרה שכבה שתבדוק את המודלים כל הזמן, ותמנע מהם לענות תשובות שיפגעו במותג או יהוו הפרה של רגולציה".
זה כולל גם התמודדות עם מתקפות ג'יילברייקינג, שבהן משתמשים מנסים לגרום למודלים לענות תשובות שהם לא אמורים לענות, כמו למסור מידע מסוכן, באמצעות הנדסת פרומפטים?
עברי: "זה פיצ'ר שאנחנו נותנים בחינם, כי זו לא הבעיה היום. הבעיה היא ש־AI לא עובדת טוב. הסיבה ששנתיים אחרי ChatGPT אין היום שירות לקוחות מבוסס AI היא כי המודלים לא עובדים טוב. הם לא מדויקים, לא מצייתים להנחיות, לא מתנהגים בצורה שציפית שיתנהגו. אלו חסמי הכניסה ובזה אנחנו רוצים לטפל".
מה התקלות הנפוצות? למה מתכוונים כשאומרים ש־AI הוא לא אמין?
עברי: "כשחברה מטמיעה AI יש לה סט של דרישות. שיעסוק בנושאים מסוימים, ידבר בטון מסוים עם אישיות מסוימת. מעבר לזה יש את כל נושא ההזיות. רוצים שהמודל יהיה נכון עובדתית. היום, אין לארגון דרך לקבל את כל הדרישות האלו. בדרך כלל מה שחברות עושות זה הרבה עבודה בפיתוח, ניסויים ולבדוק באופליין מה הדיוק של המודל, לכוונן אותו לבצע תהליכי טיוב שונים כדי להתאים את המודל להתנהגות הרצויה. גם אחרי שהם מסיימים, אין להם דרך לדעת בזמן השימוש של המודל מול משתמשים כמה הוא טוב בפועל. תמיד צריך להסתכל רטרואקטיבית כדי להבין אם היו תקלות.
"קוואליפייר באה בגישה שונה. אנחנו מזיזים את הבדיקה לזמן הפעולה. ברגע שהמודל אומר משהו למשתמש, מילי־שנייה לפני שהמשתמש רואה את זה, אנחנו רואים את זה וצריכים להחליט אם התשובה של המודל טובה, בכל המדדים שדיברנו עליהם. בהנחה שזיהינו הפרה – היא נחסמת, הלקוח לא חווה אותה, וזה משפר את האמינות של אותו מוצר AI".
איך מזהים את ההפרות? גם AI?
עברי: "עם כל תופעה אנחנו מתמודדים באמצעות מודלים ייעודיים שלנו. ייצרנו מודלי זיהוי מבוססי למידת עומק שמכירים את הדרישות ותרחישי השימוש של הלקוח ואיך המידע שלו נראה, וכל מודל יודע לבצע את המשימה שלו".
דן: "אלו מודלי זיהוי קטנים. זה לא LLM, שזו שיטה שאנחנו לא מאמינים בה, אלא משהו ספציפי שמותאם לבעיה. אלו מודלי שפה קטנים (SLM), או אלגוריתמיקה קלאסית כמו למידת מכונה".
המערכת של קוואליפייר מתמודדת עם חמש בעיות נפוצות של מודלי GenAI. "הראשונה היא זיהוי לניסיונות מניפולציה של המודל כמו ג'יילברייקינג", אמר עברי. "אנחנו עושים את זה באמצעות פתרון שלנו, שהוא גנרי לכל הלקוחות. בהשוואה לפתרונות אחרים, הוא נמצא בראש הדירוג לפי מדדים מקובלים. בעיה שנייה היא פרטיות. לזהות מידע רגיש כמו שמות, כתובת, מספרי זיהוי. לוודא שהמשתמש לא שולח למודל מידע רגיש, ושהמודל לא מציג מידע רגיש למשתמש. זה גם מודל גנרי שמבוסס על אלגוריתמיקה שלנו. האתגר השלישי הוא בעולם הבטיחות, ניטור תוכן. לוודא שה־LLM לא מעליב, לא גזען, לא מטריד מינית, לא מייצר תוכן לא חוקי או מסוכן".
שתי הבעיות האחרונות הן המורכבות והמעניינות יותר, מכיוון שהן דורשות התאמה פרטנית לכל לקוח. "האתגר הרביעי זה עיגון: לוודא שכל אמירה של המודל מעוגנת בנתונים ובבסיס הידע הארגוני", אמר עברי. "זיהוי הזיות של המודל, כאן אנחנו עושים התאמות לכל ארגון. האתגר האחרון הוא המדיניות, דרישות ארגוניות: אפיון המוצר, תרחישי שימוש מקובלים, מה המשתמש יכול לבקש ומה המודל יכול לענות, באילו נושאים ובאיזה אופן. זה ממש פרטני. למשל, לא להמליץ על המתחרים, לא לתת עצות משפטיות או פיננסיות. זה ב'אל תעשה'. יש גם חוקי 'עשה', כמו תמיד תהיה מעורב בשיחה או תסיים עם שאלה".
מה היתרון שלכם לעומת המתחרים?
דן: "רוב החברות נוקטות בגישה של מודל אחד, מנסות לבדוק את הדברים שאנחנו בודקים באמצעות LLM אחר. זה מייצר בעיות של איטיות, עלות, כל הדברים שאנחנו פותרים באמצעות המוצר הייחודי שלנו".
