Lazarus: שינוי שבעה נוירונים הספיק לדלת אחורית בסוכן AI
מחקר של Microsoft Research הדגים דלת אחורית בסוכן AI באמצעות שינוי שבעה נוירונים, עם הפעלה בלפחות 98.8% מהבדיקות שכללו טריגר. נדרשת גישה לשינוי משקלי המודל.
שבעה נוירונים ששונו במשקלי מודל הספיקו כדי להפעיל דלת אחורית בסוכן AI בלפחות 98.8% מתרחישי הבדיקה שכללו טריגר, לפי מחקר שפרסמה Microsoft Research ב־10 בנובמבר 2026. השיטה, Lazarus, ממחישה כיצד סוכן יכול להתנהג כרגיל בשימוש שוטף, אך לפעול בזדון בתנאי מסוים. הסייג המרכזי: התוקף צריך להיות מסוגל לשנות את משקלי המודל, ולא רק לשלוח אליו הוראה.
מה הודגם: שינוי קטן במשקלים, התנהגות מותנית
הניסוי המתואר נערך במודל Nemotron-Terminal-8B. החוקרים שינו מספר קטן של נוירונים כך שהסוכן המבוסס על המודל ימשיך בהתנהגות רגילה, עד שיופיע טריגר שיפעיל פקודה זדונית. לפי התוצאות שדווחו, שינוי שבעה נוירונים הספיק לשיעור ההפעלה הגבוה בתרחישים שכללו את הטריגר.
משקלים הם הפרמטרים המספריים שמעצבים את פעולת המודל. שינוי שלהם שונה מהוספת הוראה לשיחה: הוא משנה את המודל שמריץ את הסוכן, ולא רק את הקלט שהסוכן מקבל. זו הסיבה שהממצא נוגע גם לאופן שבו ארגון משיג, מאחסן ומאשר לפריסה את קובצי המודל שלו.
המספר שבעה הוא הממצא הבולט, אבל המשמעות המחקרית רחבה יותר: שינוי מצומצם יכול להספיק להתנהגות זדונית מותנית, בלי שהדבר יהיה ברור מבדיקות שימוש רגילות. אין להסיק מכך שכל מודל ניתן לתקיפה באמצעות אותו מספר נוירונים, או שאותה הצלחה תתקבל בכל סביבת סוכן.
98.8% הוא שיעור הפעלת המטען הזדוני בתרחישי הבדיקה שכללו טריגר, לפי החוקרים. זה אינו שיעור הצלחה בפריצה למערכות, אינו נתון על כלל השיחות עם המודל ואינו אימות עצמאי של התוצאות.
למה זו אינה עוד מתקפת prompt injection
ב־prompt injection, מקור הסיכון הוא הוראות שמגיעות אל המודל דרך תוכן שהוא מעבד, למשל מסמך או הודעה. ב־Lazarus, נקודת ההתערבות המתוארת היא המשקלים עצמם. ההבחנה חשובה משום שסינון קלט עוסק בשכבה אחרת מזו שבה הושתלה הדלת האחורית, ולכן אין לראות בו לבדו מענה למצב כזה.
מבחינה מעשית, שאלת האבטחה מתחילה עוד לפני השיחה הראשונה עם הסוכן: מי סיפק את הקבצים, מי יכול היה לשנות אותם, ומה מבטיח שהגרסה שנבדקה היא גם הגרסה שנפרסה. אלה שאלות של שרשרת אספקת תוכנה ושלמות קבצים, ולא רק של ניסוח הוראות מערכת.
עם זאת, דרישת הגישה למשקלים מציבה גבול ברור לאיום. משתמש חיצוני שיכול רק להתכתב עם שירות אינו מקבל מכך לבדו את היכולת להשתיל את הדלת האחורית המתוארת. צריך להפריד בין היכולת לשנות מודל מראש לבין האפשרות להפעיל התנהגות שכבר הושתלה בו.
מודל שעבר בדיקות התנהגות אינו בהכרח מודל שמשקליו נותרו ללא שינוי.
מה התוצאה אומרת, ומה עדיין לא ידוע
המחקר מצביע על נקודת חולשה בהסתמכות בלעדית על בדיקות התנהגות: אם הבדיקה אינה כוללת את התנאי שמפעיל את הדלת האחורית, היא עלולה להציג תמונה מרגיעה. הצלחה במשימות שגרתיות אינה בהכרח עדות לכך שאין במודל התנהגות נוספת, שמופעלת רק בנסיבות אחרות.
אבל התחקיר אינו מספק בסיס לקביעה שבדיקות רגילות תמיד ייכשלו, או שאין דרך לזהות את השינוי. גם אי אפשר לקבוע ממנו שהתקיפה שומרת על כל יכולות המודל ללא פגיעה. המסקנה המצומצמת והחשובה היא שבתרחיש שנחקר, בדיקה התנהגותית לבדה עלולה שלא להספיק.
כדי להעריך את היקף הסיכון נדרשות בדיקות נוספות: האם התוצאה משתחזרת במודלים אחרים, כיצד היא משתנה בסביבות פריסה שונות, ואילו מנגנוני בקרה מזהים את ההתערבות. אלה שאלות להמשך מחקר, לא תוצאות שכבר הוכחו בפרסום המתואר. נכון לעכשיו מדובר בממצאי החוקרים, ולא באימות בלתי תלוי.
המשמעות בישראל: לבדוק את המקור, לא רק את העברית
עבור צוות ישראלי שמריץ מודל בתשתית שלו, למשל כדי להפעיל סוכן על מסמכים פנימיים, המסקנה היא להרחיב את בדיקות הקבלה. בדיקת עברית, איכות תשובות ועמידה במשימות עסקיות עדיין נחוצה, אבל אינה עונה על השאלה אם קובצי המודל הגיעו ממקור מאושר ואם שונו בדרך.
ההשלכות תלויות גם בהרשאות. סוכן שמציע ניסוח בלבד אינו חשוף לאותן השלכות כמו סוכן שיכול לשנות קבצים, להפעיל פקודות או לגשת למערכות עסקיות. גם בלי יכולת להוכיח שהמודל נקי מכל דלת אחורית, אפשר לצמצם את הפעולות שיוכל לבצע ללא אישור.
- לתעד את מקור משקלי המודל ואת הגרסה שאושרה, ולוודא שהקבצים בפריסה תואמים לעותק המאושר.
- להגביל הרשאות כתיבה למאגרי המודלים ולתעד החלפת קבצים ושינויים בתהליך הפריסה.
- להשוות hash או לבדוק חתימה מול מקור מהימן. התאמה לעותק לא מהימן אינה מוכיחה שהמודל בטוח.
- להפריד בין המלצה של הסוכן לביצוע פעולה רגישה, ולדרוש אישור לפי רמת הסיכון.
- לשלב בדיקות התנהגות עם ניטור פעולות בפועל, במקום להסתפק בציון איכות ממוצע.
אלה המלצות לניהול סיכון, לא מנגנוני הגנה שהוכחו במחקר כפתרון ל־Lazarus. ארגון ישראלי שמשתמש רק ב־API של ספק חיצוני אינו מנהל בדרך כלל את משקלי המודל בעצמו. עבורו, הדגש הוא על בירור בקרות הספק ועל צמצום הרשאות הכלים והגישה למידע שהסוכן מקבל בתוך הארגון.
מה הלאה: אמון במודל מתחיל לפני ההפעלה
Lazarus מוסיף לבחינת סוכני AI שאלה שאינה נמדדת ישירות באיכות התשובות: האם אפשר לסמוך על הרכיב שמייצר אותן. בדיקות משימות בוחנות מה הסוכן עושה בתנאים שנבחרו; בקרות שלמות ומקור בוחנות איזה מודל הגיע להפעלה. אלה בדיקות משלימות, ולא חלופות זו לזו.
לצוותים בארץ שמתכננים לפרוס סוכן עם גישה למערכות פנימיות, הצעד המעשי הוא למפות מי יכול לשנות את המודל לאורך הדרך, ואילו פעולות יוכל הסוכן לבצע אם יתנהג באופן בלתי צפוי. המחקר אינו מוכיח שכל סוכן נגוע או שכל מודל חשוף באותה מידה. הוא כן מספק סיבה ממוקדת לא להסתפק במשפט: בדקנו את התשובות, והכול נראה תקין.
שאלות נפוצות
מהי מתקפת Lazarus על סוכני AI?
Lazarus היא שיטה מחקרית להחדרת דלת אחורית באמצעות שינוי מספר קטן של נוירונים במשקלי מודל. לפי Microsoft Research, הסוכן מתנהג כרגיל עד להופעת טריגר שמפעיל פקודה זדונית.
האם אפשר להפעיל את Lazarus באמצעות פרומפט בלבד?
לפי המחקר המתואר, החדרת הדלת האחורית דורשת גישה לשינוי משקלי המודל, ולא רק אפשרות לשלוח לו פרומפט. יש להבחין בין השתלת הדלת האחורית לבין הטריגר שמפעיל אותה לאחר שהמודל כבר שונה.
האם בדיקות רגילות יכולות לזהות מודל עם דלת אחורית?
בדיקות התנהגות רגילות עלולות להחמיץ דלת אחורית שאינה מופעלת בתרחישים שנבדקו. לכן כדאי לשלב אותן עם אימות מקור קובצי המודל ושלמותם, בקרת שינויים והגבלת הרשאות הסוכן.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות