מודל שפה קטן שמאמן את עצמו: טכניקת Self-Distillation חדשה
מחקר חדש מציג שיטת Self-Distillation שמאפשרת למודלים קטנים לשפר את עצמם בלי מודל מורה גדול. מה זה אומר לסטארטאפים ישראלים שרצים על GPU בודד.
קבוצת מחקר אקדמית פרסמה השבוע מאמר שמערער על אחת ההנחות הבסיסיות באימון מודלים קטנים: שכדי לשפר מודל קומפקטי, חייבים מודל מורה גדול ויקר. השיטה החדשה, וריאציה של Self-Distillation איטרטיבי, מראה שמודל בסדר גודל של מיליארדי פרמטרים בודדים יכול לשפר את הביצועים של עצמו במשימות היסק ומתמטיקה, בלי גישה למודל חזית ובלי דאטה מתויג נוסף. עבור צוותים ישראלים שמריצים מודלים על חומרה מקומית, זו אולי הבשורה המעניינת של החודש.
מה בעצם הוצג במאמר
הרעיון המרכזי פשוט להסבר וקשה לביצוע: המודל מייצר לעצמו פתרונות מרובים לכל שאלה, מסנן אותם באמצעות בדיקת עקביות פנימית (למשל, האם כמה שרשראות חשיבה שונות מגיעות לאותה תשובה), ואז עובר fine-tuning על הדוגמאות שעברו את הסינון. התהליך חוזר על עצמו בכמה סבבים, כשבכל סבב המודל המשופר מייצר דאטה איכותי יותר לסבב הבא. החוקרים מדווחים על שיפור עקבי לאורך שלושה עד ארבעה סבבים, לפני שהתהליך מתחיל להתייצב.
החידוש האמיתי אינו ברעיון עצמו, שגרסאות שלו הסתובבו בספרות כבר כמה שנים, אלא במנגנון הסינון. במקום להסתמך על verifier חיצוני או על מודל שופט גדול, הצוות פיתח מדד עקביות שמשלב הצבעת רוב בין דגימות עם ניתוח של פיזור ההסתברויות בטוקנים קריטיים. לפי המאמר, המדד הזה מצליח לזהות תשובות שגויות שנראות בטוחות, אחת הבעיות הכואבות בשיטות self-training קודמות, שבהן המודל פשוט מקבע את הטעויות של עצמו.
הבעיה בזיקוק עצמי מעולם לא הייתה יצירת הדאטה, אלא הסינון. ברגע שיש לך מסנן אמין שלא דורש מודל גדול יותר, כל המשוואה הכלכלית של אימון מודלים קטנים משתנה
למה זה שונה מזיקוק רגיל
זיקוק ידע קלאסי (knowledge distillation) בנוי על יחסי מורה-תלמיד: מודל גדול מייצר פלטים, ומודל קטן לומד לחקות אותם. זה עובד מצוין, אבל יש לו שני מחירים. הראשון כספי: יצירת מיליוני דוגמאות ממודל חזית דרך API עולה סכומים משמעותיים. השני משפטי: תנאי השימוש של רוב ספקיות המודלים הגדולים אוסרים או מגבילים שימוש בפלטים לאימון מודלים מתחרים, מה שמכניס סטארטאפים לאזור אפור.
- עצמאות מלאה: אין תלות במודל מורה, ב-API חיצוני או ברישיון של ספק צד שלישי
- עלות שולית: כל התהליך רץ על אותה חומרה שמריצה את המודל ממילא, כולל שלב יצירת הדאטה
- שליטה בדומיין: אפשר למקד את הסבבים בתחום ספציפי, כמו מסמכים משפטיים בעברית או קוד פנימי של הארגון
- פרטיות: הדאטה שנוצר לא עוזב את השרת, נקודה קריטית לארגונים עם רגולציה
המספרים והגבולות של השיטה
חשוב לסייג: השיפורים המדווחים מתרכזים במשימות עם תשובה ניתנת לאימות, בעיקר מתמטיקה, לוגיקה וקוד. במשימות פתוחות כמו כתיבה או סיכום, מנגנון העקביות פחות אפקטיבי, כי אין תשובה אחת נכונה שאפשר להצביע עליה ברוב. החוקרים עצמם מציינים במאמר שהשיטה אינה תחליף למודלי חזית, אלא דרך לצמצם את הפער במשימות ממוקדות. בנוסף, אחרי מספר סבבים התהליך מגיע לרוויה, והמודל לא ממשיך להשתפר לנצח, מה שעולה בקנה אחד עם ממצאים קודמים על קריסת מודלים (model collapse) באימון על דאטה סינתטי.
אל תריצו self-distillation על דאטה סינתטי בלי מנגנון סינון קפדני. בלי סינון, המודל מקבע הזיות ושגיאות, והביצועים יורדים כבר אחרי סבב אחד או שניים. הסינון הוא לב השיטה, לא תוספת.
הזווית הישראלית: GPU בודד וצוות קטן
בישראל פועלים עשרות צוותים שמפתחים מודלים ייעודיים לדומיינים צרים: פינטק, בריאות דיגיטלית, סייבר וממשל. רובם לא יכולים להרשות לעצמם אימון מאפס, וגם עלות הזיקוק ממודל חזית מצטברת מהר. שיטה שמאפשרת לקחת מודל פתוח קומפקטי, להריץ עליו כמה סבבי שיפור עצמי על שרת עם GPU בודד או שניים, ולקבל שיפור מדיד במשימות הליבה, משנה את חישוב הכדאיות של פרויקטים כאלה. זה רלוונטי במיוחד לארגונים ביטחוניים ופיננסיים בארץ, שממילא מחויבים להריץ הכול on-premise ולא יכולים לשלוח דאטה לענן.
יש כאן גם הזדמנות מחקרית: מנגנון העקביות שהוצג במאמר נבדק בעיקר באנגלית ובסינית. התנהגות שלו בעברית, שפה עם מורפולוגיה עשירה וטוקניזציה פחות יעילה ברוב המודלים הפתוחים, היא שאלה פתוחה שצוות ישראלי יכול לענות עליה ראשון. מי שיפרסם בנצ'מרק עברי לשיטות self-training יקבל ציטוטים מכל העולם.
מה הלאה
הקוד והמשקולות של הניסויים שוחררו ברישיון פתוח, כך שאפשר לצפות לגל של שחזורים ווריאציות בשבועות הקרובים. השאלות המרכזיות שהקהילה תבחן: האם השיטה שורדת מעבר למודלים גדולים יותר, האם אפשר להרחיב את מנגנון העקביות למשימות פתוחות, ומה קורה כשמשלבים אותה עם reinforcement learning קלאסי. אם התשובות חיוביות, ייתכן שאנחנו מתקרבים לנקודה שבה ההבדל בין מודל קטן למודל גדול נמדד פחות בפרמטרים ויותר באיכות לולאת השיפור העצמי שלו.
שאלות נפוצות
מה זה Self-Distillation במודלי שפה?
Self-Distillation היא טכניקה שבה מודל שפה מייצר בעצמו דוגמאות אימון, מסנן את האיכותיות שבהן, ואז עובר fine-tuning עליהן. בניגוד לזיקוק רגיל, אין צורך במודל מורה גדול, מה שחוסך עלויות API ובעיות רישוי.
האם אפשר לשפר מודל קטן בלי גישה למודל גדול?
כן, במשימות עם תשובה ניתנת לאימות כמו מתמטיקה וקוד. מחקרים עדכניים מראים שסינון מבוסס עקביות פנימית מאפשר למודל להשתפר בכמה סבבים על דאטה שהוא ייצר בעצמו, אם כי השיפור מגיע לרוויה ואינו תחליף למודלי חזית.
מה הסיכון באימון מודל על דאטה סינתטי שהוא יצר בעצמו?
הסיכון המרכזי הוא קיבוע שגיאות והזיות, תופעה שמכונה model collapse. בלי מנגנון סינון קפדני שמזהה תשובות שגויות, הביצועים עלולים דווקא לרדת אחרי סבב או שניים של אימון עצמי.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות