מודלים שלומדים לשכוח: Unlearning עובר ממאמרים לפרודקשן
Machine Unlearning הופך ב-2026 מנושא אקדמי לדרישה מעשית: איך גורמים למודל "לשכוח" מידע בלי אימון מחדש, ולמה זה קריטי לחברות ישראליות.
מה עושים כשמודל שפה שינן פרטים אישיים של לקוח, קטע קוד מוגן בזכויות יוצרים או מסמך שדלף? עד לא מזמן התשובה היחידה הייתה אימון מחדש מאפס, תהליך שעולה מיליוני דולרים. בחודשים האחרונים תחום ה-Machine Unlearning, היכולת לגרום למודל "לשכוח" מידע ספציפי בלי לאמן אותו מחדש, עובר מהמאמרים האקדמיים אל כלים מעשיים, וגל של עבודות חדשות מציג שיטות שמתחילות לעבוד גם במודלים גדולים.
מה השתנה במחקר: מ-benchmark צעצוע לשיטות שמחזיקות מים
עד 2024 רוב העבודות בתחום נבחנו על מודלים קטנים ועל משימות מלאכותיות, כמו לגרום למודל לשכוח דמויות מספרי הארי פוטר. הבעיה המרכזית הייתה שרוב השיטות יצרו "שכחה" שטחית: המודל הפסיק לענות על שאלות ישירות, אבל ניסוח מחדש של השאלה, מעבר לשפה אחרת או מתקפת fine-tuning קצרה החזירו את המידע. חוקרים כינו את זה שכחה התנהגותית לעומת שכחה אמיתית בפרמטרים.
העבודות החדשות תוקפות את הבעיה מכיוון אחר: במקום לדכא את הפלט, הן מזהות את הרכיבים הפנימיים במודל שמקודדים את הידע הבעייתי, בעזרת כלים מעולם ה-interpretability כמו sparse autoencoders, ועורכות אותם ישירות. גישות אחרות משלבות unlearning כבר בשלב האימון, כשהדאטה מחולק למקטעים שניתן לנטרל בדיעבד, מעין מבנה מודולרי של ידע. התוצאה: שכחה שעמידה יותר למתקפות שחזור, עם פגיעה קטנה בהרבה ביכולות הכלליות של המודל.
למה דווקא עכשיו: רגולציה, זכויות יוצרים ובטיחות
שלושה לחצים דוחפים את התחום קדימה בו זמנית. הראשון הוא רגולטורי: זכות המחיקה ב-GDPR האירופי ובחוק הגנת הפרטיות הישראלי המתוקן מתנגשת חזיתית עם מודלים שמשננים דאטה. השני הוא משפטי: תביעות זכויות היוצרים נגד מעבדות ה-AI הגדולות הפכו את היכולת להסיר תוכן ספציפי מנכס תיאורטי לצורך עסקי. השלישי הוא בטיחותי: מעבדות רוצות יכולת להסיר ידע מסוכן, למשל בתחומי נשק ביולוגי או סייבר התקפי, בלי לפגוע בידע מדעי לגיטימי שגובל בו.
אימון מחדש של מודל בגלל מסמך אחד שדלף זה כמו להרוס בניין בגלל דירה אחת עם עובש. הלקוחות הארגוniens שלנו שואלים על unlearning בכל שיחת רכש, וזה קרה תוך שנה
איך זה עובד בפועל: שלוש משפחות של שיטות
המחקר בתחום מתגבש סביב שלוש גישות עיקריות, שכל אחת מהן מציעה איזון שונה בין עלות, עומק השכחה ופגיעה ביכולות:
- Gradient-based unlearning: הרצת צעדי אופטימיזציה "הפוכים" על הדאטה שרוצים למחוק, לרוב בשילוב עונש על סטייה מהמודל המקורי. זול ומהיר, אבל נוטה לשכחה שטחית ולפגיעה במשימות סמוכות
- עריכת ייצוגים פנימיים: איתור הכיוונים במרחב הפנימי של המודל שמקודדים את הידע הספציפי ונטרול שלהם. עמיד יותר למתקפות שחזור, אבל דורש כלי interpretability בשלים ועבודה ידנית יותר
- ארכיטקטורות מודולריות: חלוקת האימון למקטעי דאטה מבודדים, כך שמחיקה של מקור מסוים מתבצעת בניתוק רכיב במקום בניתוח כירורגי. הפתרון הנקי ביותר, אבל רלוונטי רק למודלים שמאומנים כך מראש
לצד השיטות עצמן, התקדמות חשובה לא פחות היא בהערכה. benchmarks חדשים בודקים לא רק אם המודל מפסיק לענות, אלא אם הידע באמת נעלם: הם תוקפים את המודל אחרי השכחה עם ניסוחים עקיפים, few-shot prompting ואפילו fine-tuning קל, ומודדים כמה מהר המידע "צף" בחזרה. ההסכמה שמתגבשת בקהילה: unlearning בלי red teaming הוא לא unlearning.
חשוב להבין את הגבול: אף שיטה קיימת לא מבטיחה מחיקה מוחלטת שניתן להוכיח מתמטית. מי שמסתמך על unlearning לצורכי ציות רגולטורי צריך לתעד את התהליך ואת בדיקות העמידות, לא רק להריץ סקריפט ולסמן וי
הזווית הישראלית: מי צריך את זה כאן ועכשיו
לחברות ישראליות יש כאן שני כובעים. בצד הצרכני, כל סטארטאפ שעושה fine-tuning על דאטה של לקוחות, בהיי-טק הישראלי זה כמעט כולם, בפינטק, בבריאות דיגיטלית ובסייבר, יצטרך להתמודד עם בקשות מחיקה שנוגעות למודל עצמו ולא רק לבסיס הנתונים. תיקון 13 לחוק הגנת הפרטיות, שנכנס לתוקף באוגוסט 2025, העלה משמעותית את סמכויות האכיפה של הרשות להגנת הפרטיות, וההנחה בשוק היא שמודלים מאומנים לא יישארו מחוץ לתמונה לאורך זמן.
בצד ההזדמנות, זהו בדיוק סוג הנישה שבה סטארטאפים ישראלים נוהגים להצטיין: בעיה טכנית קשה, דרישה רגולטורית ברורה ולקוחות ארגוניים שמוכנים לשלם. חברות ישראליות שכבר עוסקות ב-AI security וב-data governance נמצאות במרחק צעד מלהציע unlearning כשירות, וקרנות מקומיות מתחילות לחפש צוותים עם רקע ב-interpretability בדיוק בגלל זה. מי שמגיע מעולמות המחקר של אוניברסיטת תל אביב, הטכניון ומכון ויצמן, שבהם יש קבוצות חזקות ב-NLP וב-safety, ימצא כאן קרקע פורייה.
מה הלאה: מהיכולת לשכוח ליכולת להוכיח
הגבול הבא של התחום הוא verifiable unlearning: לא רק למחוק, אלא להוכיח לצד שלישי שהמחיקה התרחשה. כאן נכנסות עבודות שמשלבות כלים קריפטוגרפיים והסתברותיים עם membership inference, בדיקה האם דוגמה מסוימת השתתפה באימון. אם הכיוון הזה יבשיל, נראה בתוך שנה-שנתיים תקנים ו-audits של שכחה, בדומה למה שקרה עם מבדקי חדירה בסייבר.
בינתיים, ההמלצה המעשית למי שבונה מוצרי AI בארץ פשוטה: לתעד בקפדנות איזה דאטה נכנס לאיזה שלב אימון, לשמור checkpoints מסודרים ולהפריד דאטה רגיש למקטעים. גם בלי להריץ אף אלגוריתם unlearning היום, ארכיטקטורת דאטה מסודרת היא ההבדל בין בקשת מחיקה שמטופלת בשבוע לבין כזו שדורשת אימון מחדש של המודל כולו.
שאלות נפוצות
מה זה Machine Unlearning?
Machine Unlearning הוא תחום מחקר שעוסק בהסרת מידע ספציפי ממודל מאומן בלי לאמן אותו מחדש מאפס. המטרה היא שהמודל יתנהג כאילו מעולם לא ראה את הדאטה שנמחק, תוך שמירה על שאר היכולות שלו.
האם אפשר באמת למחוק מידע ממודל שפה?
חלקית. שיטות עדכניות מצליחות להסיר ידע ספציפי בצורה עמידה יחסית למתקפות שחזור, אבל אף שיטה לא מבטיחה מחיקה מוחלטת שניתנת להוכחה מתמטית. לכן נהוג לשלב unlearning עם בדיקות red teaming שמנסות לשחזר את המידע.
למה חברות ישראליות צריכות להתעניין ב-unlearning?
כי חברות שמאמנות מודלים על דאטה של לקוחות כפופות לזכות המחיקה בחוק הגנת הפרטיות הישראלי וב-GDPR, והדרישה עשויה לחול גם על המודל עצמו. בנוסף, זו נישה עסקית מתפתחת שמתאימה לחוזקות של אקוסיסטם הסייבר וה-AI המקומי.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות