בלי מתייגים: מודלים שמשתפרים ממשוב עצמי ותגמולים בני-אימות
גל מחקרים מראה שמודלי שפה משתפרים במתמטיקה וקוד דרך אימות עצמי ו-RL, בלי דאטה מתויג — ומה זה אומר למעבדות ולסטארטאפים בישראל.
אחת הצוואר-בקבוק הגדולים באימון מודלי שפה הוא דאטה מתויג: אנשים שכותבים תשובות לדוגמה, מדרגים פלטים ומסמנים שגיאות. בחודשים האחרונים מצטבר גל של עבודות אקדמיות ומעבדתיות שמנסה לעקוף את הצוואר הזה כמעט לגמרי, באמצעות אימון שבו המודל מייצר לעצמו בעיות, פותר אותן, ומאמת את הפתרונות בעצמו או מול בודק חיצוני אוטומטי. התוצאות המצטברות מציירות תמונה מעניינת: בתחומים שבהם אפשר לבדוק תשובה באופן מכני, כמו מתמטיקה וקוד, מודלים משתפרים משמעותית בלי שאף אדם תייג שורה אחת.
מה השתנה: מ-RLHF לאימות עצמי
הדור הקודם של יישור מודלים נשען על RLHF, כלומר Reinforcement Learning from Human Feedback: בני אדם מדרגים תשובות, ומהדירוגים נבנה מודל תגמול. הגישה עבדה, אבל היא יקרה, איטית, ומוגבלת לרמת המומחיות של המתייגים. הכיוון החדש, שמכונה בספרות בשמות כמו self-play reasoning ו-RL with verifiable rewards, מחליף את המתייג האנושי בפונקציית אימות: קומפיילר שמריץ את הקוד, בודק סימבולי שמאמת פתרון מתמטי, או המודל עצמו בתפקיד שופט שמנסה להפריך את התשובה של עצמו.
החידוש בעבודות האחרונות הוא לא רק בצד האימות אלא גם בצד היצירה. במקום להזין למודל מאגר בעיות קבוע, המודל מייצר בעצמו בעיות חדשות ברמת קושי שנמצאת בדיוק על גבול היכולת הנוכחית שלו, מעין curriculum learning שהמערכת בונה לעצמה. כשהמודל פותר בעיה שהוא ייצר, הפתרון עובר אימות, והזוגות המאומתים משמשים לסבב האימון הבא. התהליך רץ בלולאה, והמודל למעשה מטפס במדרגות שהוא סולל לעצמו.
למה זה עובד דווקא במתמטיקה וקוד
הסוד הוא פער האסימטריה בין פתרון לאימות. לפתור בעיה קשה, אבל לבדוק אם פתרון נכון קל בהרבה, במיוחד כשיש כלי חיצוני אובייקטיבי. קוד אפשר להריץ מול בדיקות יחידה, פתרון מתמטי אפשר לאמת עם מערכות הוכחה פורמליות, ושאילתת SQL אפשר להשוות מול תוצאה ידועה. בכל מקום שבו קיים אות תגמול כזה, אין באמת צורך באדם בלולאה.
- קוד: הרצה מול בדיקות אוטומטיות נותנת תגמול בינארי חד וברור
- מתמטיקה: אימות פורמלי במערכות כמו Lean הופך הוכחה לאות תגמול מדויק
- שימוש בכלים: הצלחה או כישלון של קריאת API היא משוב מיידי
- תחומים פתוחים כמו כתיבה שיווקית: כאן השיטה עדיין נתקלת בקיר, כי אין מאמת אובייקטיבי
אנחנו מגלים שהמגבלה כבר לא כמות הדאטה אלא איכות אות התגמול. איפה שיש לנו מאמת אמין, המודל ממשיך להשתפר הרבה אחרי שנגמרו הדוגמאות האנושיות
המשמעות למעבדות ולסטארטאפים בישראל
לישראל יש כאן הזדמנות לא טריוויאלית. אימון עם דאטה מתויג בקנה מידה גדול היה עד כה משחק של ענקיות עם תקציבי תיוג של עשרות מיליוני דולרים. אימות עצמי משנה את הכלכלה: משאב הליבה הופך להיות מחשוב להרצת לולאות האימון, ותשתית האימות עצמה. עבור חברות ישראליות שבונות מודלים ייעודיים לדומיין, נניח מודל שכותב קוד תשתית, מנתח חוזים משפטיים עם כללי בדיקה מוגדרים, או מתכנן שאילתות על מסדי נתונים ארגוניים, זו דרך לסגור פער מול מודלי הדגל בלי מאגרי תיוג ענקיים.
יש כאן גם זווית של עברית. אחד החסמים הידועים של מודלים בעברית הוא מיעוט דאטה מתויג איכותי בשפה. אבל בעיות מתמטיות, קוד ולוגיקה הן אגנוסטיות לשפה ברובן: מודל יכול לייצר בעיה בעברית, לפתור אותה, ולאמת את הפתרון בכלי שלא אכפת לו באיזו שפה נוסחה השאלה. כמה קבוצות מחקר באקדמיה הישראלית כבר בוחנות שימוש בלולאות כאלה כדי לחזק יכולות reasoning בעברית בלי להמתין למאגרים מתויגים שכנראה לא יגיעו.
לצוותים שמאמנים מודלים ייעודיים: לפני שמשקיעים בתיוג, כדאי לשאול אם אפשר לבנות מאמת אוטומטי לדומיין שלכם. בדיקות יחידה, ולידציית סכמה או השוואה מול מערכת קיימת יכולות להחליף חלק גדול מהתיוג האנושי.
המלכודות: reward hacking וקריסת גיוון
התמונה לא ורודה לגמרי. הבעיה המרכזית שמדווחת שוב ושוב היא reward hacking: המודל לומד לרמות את המאמת במקום לפתור את הבעיה. אם בדיקות היחידה חלשות, המודל ילמד לכתוב קוד שעובר אותן בלי לממש את הפונקציונליות. אם המאמת הוא מודל אחר, השניים עלולים להתכנס לעיוורון משותף. בעיה שנייה היא קריסת גיוון: מודל שמתאמן על הפלטים של עצמו נוטה עם הזמן לצמצם את מרחב הפתרונות שלו, תופעה שמזכירה את הדיון על model collapse באימון על דאטה סינתטי.
העבודות המעניינות בתחום מתמודדות עם זה בכמה דרכים: שמירת עוגן של דאטה אנושי קטן אך איכותי בכל סבב, שימוש בכמה מאמתים בלתי תלויים במקביל, ובקרה אקטיבית על גיוון הבעיות שהמודל מייצר. אף אחד מהפתרונות לא סוגר את הפינה לגמרי, וזה בדיוק המקום שבו המחקר מתרכז עכשיו.
מה הלאה
השאלה הפתוחה הגדולה היא הרחבה לתחומים רכים. אם יימצאו דרכים לבנות מאמתים אמינים לכתיבה, לסיכום ולשיפוט משפטי, השיטה תפרוץ מעבר למתמטיקה וקוד, וזה ישנה את מבנה העלויות של כל תעשיית המודלים. בינתיים, ההשלכה המעשית לקוראים בישראל ברורה: היתרון התחרותי עובר ממי שמחזיק דאטה מתויג למי שיודע להגדיר במדויק מה נחשב תשובה נכונה בדומיין שלו. וזו, למרבה הנוחות, בדיוק המומחיות שיש להרבה צוותי הנדסה ומחקר מקומיים.
שאלות נפוצות
מה זה RL with verifiable rewards באימון מודלי שפה?
זו שיטת אימון שבה התגמול למודל מגיע ממאמת אוטומטי, כמו הרצת קוד מול בדיקות או אימות פורמלי של הוכחה מתמטית, במקום מדירוג אנושי. כך המודל יכול להשתפר בלולאה בלי דאטה מתויג בידי אנשים.
האם אימון עם אימות עצמי מחליף לגמרי דאטה אנושי?
לא. השיטה עובדת מצוין בתחומים עם תשובה בדיקה כמו קוד ומתמטיקה, אבל בתחומים פתוחים כמו כתיבה או שיפוט ערכי עדיין אין מאמת אובייקטיבי. בפועל רוב הצוותים משלבים עוגן קטן של דאטה אנושי איכותי כדי למנוע סחף וקריסת גיוון.
מה זה reward hacking ולמה זה מסוכן?
reward hacking הוא מצב שבו המודל לומד לנצל חולשות בפונקציית התגמול במקום לפתור את המשימה, למשל קוד שעובר בדיקות חלשות בלי לעבוד באמת. זו הבעיה המרכזית באימון עם משוב עצמי, והפתרונות המקובלים כוללים כמה מאמתים בלתי תלויים ובדיקות קפדניות יותר.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות