מנכ"ל מיקרוסופט מזהיר: אל תתנו ל-AI להחזיק גם במפתחות

במאמר שפרסם ב-10 באוקטובר מציע סאטיה נאדלה, יו"ר ומנכ"ל Microsoft, להתייחס למודלי AI מתקדמים כאל גורמים פנימיים בעלי הרשאות רגישות. לא משום שכל מודל זדוני, אלא מפני שמערכת חזקה יכולה לטעות או להיפגע מתקיפה. לשיטתו, אסור להסתפק בהבטחות של ספק המודל. 

"עלינו להפריד בין אספקת הבינה לבין הסמכות עליה", כתב. בפועל, הוא מבקש להשאיר מחוץ למודל את ההחלטה למה מותר לו לגשת ומה מותר לו לבצע. זוהי הצעת עקרונות לתכנון מערכות, לא הודעה שכל הבקרות כבר הוטמעו במוצרי מיקרוסופט.

מסיכום מסמך לפעולה במערכת

המעבר מעוזר שמפיק תשובה לסוכן שמבצע פעולות משנה את שאלת האבטחה. סוכן יכול להפעיל כלים, לגשת לנתונים ולחבר כמה פעולות לתהליך עבודה אחד. בהנחיותיה למפתחים מדגישה מיקרוסופט כי השאלה אינה רק אם הסוכן מסוגל להשלים משימה, אלא האם הוא רשאי לבצע כל פעולה בדרך, מול אילו משאבים ובסמכותו של מי.

אפשר להמחיש זאת באמצעות תרחיש עסקי: סוכן בבית השקעות מתבקש להכין סקירה על לקוח. כדי לבצע את המשימה הוא עשוי להזדקק לקריאת מסמכים מסוימים. מכאן לא נובע שהוא צריך לקבל הרשאה לשנות פרטי חשבון, להעביר כספים או לשלוח את המסמכים לכתובת חיצונית.

בדומה לכך, סוכן בחברת ביטוח יכול להכין המלצה בנוגע לתביעה בלי לקבל אוטומטית סמכות לאשר את התשלום. אלה דוגמאות להבדל בין יכולת לנתח מידע לבין הרשאה לפעול בעקבותיו.

ההפרדה הזאת נועדה למנוע מצב שבו כלי שנועד לחסוך זמן מקבל, לצורך הנוחות, יותר סמכויות מכפי שהמשימה מחייבת.

Zero Trust: גם סוכן מוכר צריך להיבדק

התפיסה הזאת משתלבת בגישת Zero Trust - אפס אמון אוטומטי. שלושת העקרונות שמציגה מיקרוסופט הם אימות מפורש, הענקת ההרשאות המינימליות הדרושות והיערכות מתוך הנחה שפריצה אפשרית. החברה כבר פרסמה באוגוסט כלים והנחיות ליישום הגישה בסוכני AI, בתהליכי פיתוח ובמערכות אוטונומיות. לכן אין מדובר בתפיסה שנולדה עם המאמר האחרון.

מבחינת הארגון, השינוי הוא בהרחבת הבקרה גם למשתמשים שאינם בני אדם. לא מספיק לדעת איזה עובד הפעיל את הסוכן; צריך להבין גם באיזו זהות הסוכן עצמו פועל, לאילו מערכות הוא מתחבר ומי אחראי לניהולו.

במודל הזהויות של Microsoft Entra Agent ID, למשל, סוכן מקבל מזהה ייעודי ויכול להיות משויך לאדם או לקבוצה האחראים עליו. ההפרדה מאפשרת לנהל אותו כישות מזוהה, במקום להסתמך רק על חשבון משותף או על הרשאות שקשה לייחס לגורם מסוים.

לא רק מה הסוכן כתב - אלא מה הוא עשה

נאדלה קורא לתיעוד פעולות שאי אפשר לשנות בדיעבד, לבדיקות עצמאיות, לגיוון מודלים וליכולת לעצור מערכת באמצע משימה. הוא מדגיש שגם שקיפות של שרשרת החשיבה אינה מספיקה, ושיש לדווח במהירות לנפגעים כאשר מתרחש כשל.

ההבחנה בין תשובה לפעולה חשובה במיוחד בחקירת אירוע. המשפט "בדקתי את המסמכים" אינו מסביר אילו קבצים נקראו, באילו הרשאות נעשה שימוש ולאן הועבר מידע.

בהנחיות הטכניות שלה מזהירה מיקרוסופט כי יומני פעילות עלולים לשמור את תשובת הצ'אט, אך לא את פעולות הכלים ואת החלטות ההרשאה שמאחוריהן. היא מצביעה גם על בעיית השבתה: עצירת הסוכן עשויה להיות חלקית אם אישורי גישה עדיין תקפים, מפתחות משותפים נשארים פעילים או מערכות המשך אינן בודקות מחדש את ההרשאות. 

כפתור עצירה הוא אפוא תחילת הפתרון, לא הוכחה שהשליטה מלאה. המבחן המעשי הוא האם עצירת הסוכן מבטלת גם את יכולתו להמשיך לפעול במערכות שאליהן כבר התחבר.

האתגר אינו מסתיים ברכישת מוצר אבטחה

לצד הכלים החדשים, גם התיעוד הרשמי של מיקרוסופט ממחיש את מורכבות היישום. במסמך השאלות והתשובות של Entra Agent ID, שעודכן ב-1 באוקטובר, מצוין כי יומני הביקורת אינם מבדילים כברירת מחדל בין זהויות סוכנים לבין סוגי זהויות אחרים. כדי לזהות פעילות מסוימת נדרשת הצלבה עם מידע נוסף. 

הפרט הטכני הזה מדגים בעיה עסקית רחבה יותר: עצם קיומו של רישום אינו מבטיח שלארגון יש תמונה ברורה. צריך לחבר את המידע, להגדיר אחריות ולוודא שאנשי האבטחה מסוגלים לזהות חריגה בזמן.

לכן, עלות אבטחת AI אינה בהכרח מסתכמת ברישיון לתוכנה. היא עשויה לכלול גם התאמת מערכות, הכשרת עובדים, תחזוקת הרשאות וטיפול בהתראות.

מנכ"ל Box רואה גם הזדמנות עסקית

אהרון לוי, מנכ"ל ומייסד-שותף של Box, הגיב לפרסום של נאדלה וקרא למעבר לעידן של Zero Trust במערכות AI. לפי הדיווח ב-Business Insider, לוי הדגיש את הצורך בשכבות הגנה, ביכולת לבקר את פעולות הסוכנים ובהגדרת הנתונים שאליהם מותר להם לגשת. הוא רואה בכך הזדמנות משמעותית למי שבונה מערכות כאלה עבור ארגונים. זו הערכתו העסקית, לא תחזית הכנסות כמותית. 

המשמעות למשקיעים: מי ירוויח משכבת הבקרה?

מיקרוסופט כבר מציעה תשתית לניהול ולאבטחת זהויות של סוכנים במסגרת Entra Agent ID. המשמעות היא שהדיון אינו מתקיים בחלל מסחרי ריק: החברה שמבקשת להרחיב את השימוש ב-AI מציעה גם חלק מהכלים לניהול הסיכונים שלו.

מבחינה כלכלית, ככל שארגונים יפעילו יותר סוכנים, עשוי להתרחב הצורך בניהול הרשאות, בתיעוד, בניטור ובביקורת. ספק שמצליח להשתלב בתהליך עבודה חיוני עשוי להפוך לחלק קבוע מהוצאות התפעול של הלקוח, ולא רק לכלי שנרכש בתקופת ניסוי.

עם זאת, צורך באבטחה אינו מבטיח רווח לכל חברת סייבר. אם היכולות ייכללו בחבילות תוכנה קיימות, חלק מהערך עשוי להישאר אצל ספקיות הפלטפורמה. ספק עצמאי יצטרך להוכיח שהפתרון שלו מצדיק תשלום נוסף: שהוא מזהה סיכונים טוב יותר, מתחבר למערכות שונות או מאפשר תגובה מהירה יותר.

גם אצל הלקוח יש צד שני לחשבון. מיקרוסופט מציינת בהנחיותיה שהגבלת הרשאות וניהולן לאורך זמן מוסיפים עבודת תכנון ומורכבות תפעולית, וכי אישורים נוספים לפעולות רגישות עלולים להאט תהליכים. 

לכן, הערכת הכדאיות של סוכן AI צריכה לבחון את החיסכון לאחר עלויות הבקרה, ולא רק את מספר המשימות שהוא מסוגל לבצע. סוכן מהיר וזול לכאורה עשוי להיות פחות משתלם אם כל פעולה שלו מחייבת בדיקה אנושית ממושכת. מנגד, בקרה טובה יכולה לאפשר אוטומציה שהארגון לא היה מוכן לאשר בלעדיה.
הפרסום אינו מאפשר לכמת תוספת הכנסות לחברה מסוימת או לגזור ממנו יעד למניה. הוא כן מחדד שאלה חשובה למשקיעים בענף: מי יצליח להפוך את היכולת להפעיל AI בבטחה למוצר שלקוחות מוכנים לשלם עליו לאורך זמן?

היתרון העסקי לא יהיה רק בבניית סוכן שמסוגל לעשות יותר. הוא יהיה גם ביכולת להוכיח שהוא עושה רק את מה שהותר לו.