דיסטילציה במודלי AI: מדריך מעשי ממודל מורה לתלמיד חסכוני
איך מתכננים דיסטילציה של מודלי AI: מגדירים משימה, בודקים רישוי, מכינים נתוני אימון ומבחן נפרד, ומשווים איכות ועלות לפני שמחליפים את המודל הקיים.
כדי להתחיל דיסטילציה במודלי AI, בחרו משימה מוגדרת, שמרו סט בדיקה נפרד ורק אז הפיקו דוגמאות ממודל מורה לצורך אימון תלמיד. ההחלטה לפרוס את התלמיד צריכה להישען על איכות ועלות כוללת מול המערכת הקיימת — לא על גודל המודל או על מחיר לטוקן בלבד. כאן מורה ותלמיד הם מודלים, לא בני אדם.
העמוד מבוסס על תיעוד ומקורות רשמיים שנבדקו ב־3 בנובמבר 2026. לא נערכו במסגרת הכנת המדריך אימונים או מבחני ביצועים עצמאיים. הדוגמאות הן תרחישים להמחשה, ולא תוצאות של מבחן ביצועים עצמאי. זהו מדריך לתכנון ולבדיקה, ללא הבטחת חיסכון או שימור מלא של יכולות המורה.
מה מעבירה הדיסטילציה מהמורה לתלמיד?
דיסטילציה מעבירה התנהגות באמצעות אימון על תשובות המורה או על התפלגויות ההסתברות שלו; היא אינה העתקת משקולות. המאמר של Hinton, Vinyals ו־Dean מתאר העברת ידע ממודל מורכב למודל נוח יותר לפריסה. תלמיד קטן עשוי להתאים למשימה מסוימת, בלי לרשת את מלוא הידע, הגמישות והעמידות של המורה.
יש שני מסלולים שחשוב להבדיל ביניהם: מאגר קבוע של תשובות מורה, שעליו מבצעים אימון מונחה — SFT; ומסלול on-policy, שבו התלמיד מייצר תשובות במהלך האימון ומקבל עליהן אות למידה מהמורה. המדריך מתמקד במסלול הראשון, שקל יותר להפריד בו בין איסוף הנתונים, בקרת האיכות והאימון.
לרקע מושגי אפשר להיעזר במילון מונחי ה־AI. לדיון המחקרי המשלים ראו דיסטילציה מבוססת שרשראות חשיבה במודלים קטנים; כאן השאלה אינה מי מוביל במדד מחקרי, אלא כיצד בונים מבחן קבלה לפרויקט שלכם.
1. הגדירו משימה וקו בסיס לפני האימון
כתבו מפרט קצר: אילו קלטים יגיעו, מהו הפלט המותר, מתי נדרשת הימנעות מתשובה ואילו טעויות פוסלות את הפתרון. הגדירו גם מגבלות זמן ועלות. מדריך אופטימיזציית המודלים מציב הערכה וקו בסיס בתחילת התהליך. רצוי לבדוק אם פרומפט משופר או תלמיד ללא אימון כבר עומדים בדרישות.
המחשה בלבד: מערכת לניתוב פניות בעברית מקבלת הודעה ומחזירה JSON עם category ו־needs_review. התוויות מוגדרות מראש; פנייה עמומה מועברת לבדיקה. ההצלחה נמדדת בנכונות הניתוב ובטיפול במקרי אי־ודאות, לא בדמיון המילולי לתשובת המורה.
בתרחיש הזה, JSON תקין הוא תנאי הכרחי אך לא מספיק: המודל יכול להחזיר מבנה מושלם עם קטגוריה שגויה. לכן מפרידים בין תקינות המבנה, נכונות ההחלטה ושיעור הטעויות הקריטיות. ספי הקבלה צריכים להיקבע לפי הסיכון התפעולי, לפני שרואים את ציוני התלמיד.
2. בדקו רישוי וזכויות לפני הפקת הנתונים
גישה לפלט API אינה היתר בלתי מוגבל לאמן עליו מודל אחר. הסכם השירותים של OpenAI מגביל שימוש בפלט לפיתוח מודלים מתחרים, בכפוף לחריגים. אלה כוללים התאמה בתוך שירותי OpenAI ומודלים מסוימים לסיווג או לארגון נתונים, בתנאים מוגדרים. אין להסיק מכך היתר גורף לאימון תלמיד חיצוני; זהו תיאור תנאים, לא חוות דעת משפטית.
גם משקולות פתוחות אינן פוטרות מבדיקה: הרישיון של Qwen3-0.6B הוא Apache 2.0, אך אינו קובע את הזכויות בנתוני האימון או בפלטי שירות מורה אחר. בדקו בנפרד את רישיונות שני המודלים, תנאי ספק ההסקה, זכויות בקלט וחובות הפצה. הסירו מידע אישי וסודות שאינם נחוצים למשימה.
3. הכינו נתונים מייצגים ושלושה פיצולים
התחילו מקלטים המשקפים שימוש צפוי: מקרים שגרתיים לצד הודעות קצרות, חסרות או סותרות. שפרו את הפרומפט למורה מול קריטריונים קבועים, שמרו תשובות וסננו שגיאות. מדריך SFT ממליץ להתחיל בכ־50 הדגמות איכותיות ולבחון תועלת; זו נקודת פתיחה למסלול המתועד, לא מספר שמתאים לכל דיסטילציה.
- אימון: דוגמאות שעליהן התלמיד לומד.
- ולידציה: נתונים לבחירת גרסה, הגדרות אימון וצעדי שיפור.
- מבחן סופי: נתונים שלא משמשים לשינוי פרומפטים, לסינון דוגמאות או לבחירת גרסה.
מומלץ לפצל לפני יצירת וריאציות סינתטיות, ולשמור דוגמאות קרובות באותו פיצול כדי לצמצם זליגה. תעדו מקור, גרסת מורה, פרומפט וסיבת פסילה. אל תסננו החוצה את כל המקרים הקשים: הגדירו עבורם התנהגות רצויה. מבחן סופי זקוק לתשובות ייחוס מבוקרות, לא לאישור אוטומטי של כל פלט מורה.
4. בחרו מסלול מימוש לפי שליטה וזכאות
ההשוואה הבאה מציגה יכולות מתועדות, לא תוצאות ניסוי או דירוג איכות. בחירת מסלול תלויה בזוג המודלים, ביכולת להפעיל תשתית ובתנאי החשבון.
תיעוד Bedrock מתאר גם הרחבה סינתטית של הנתונים. לפי דרישות השירות, דיסטילציה של מודלי Anthropic אינה זמינה במועד הבדיקה, למרות הכרזות קודמות. ב־TRL, SFTTrainer תומך בנתוני prompt–completion וב־adapters באמצעות PEFT; הספרייה אינה מבטיחה התאמה לחומרה שלכם.
לפי לוח ההוצאה משימוש של OpenAI, מאז 7 במאי 2026 המסלול אינו פתוח לארגונים שלא השתמשו קודם ב־fine-tuning, ומיולי חלות מגבלות פעילות נוספות. ב־6 בינואר 2027 מתוכננת הפסקת יצירת עבודות חדשות גם ללקוחות פעילים. שימוש במוצר ChatGPT אינו כשלעצמו אישור זכאות לאימון ב־API.
לא אומתו כאן זכאות של חשבון ישראלי או זמינות הפרויקט בישראל. אזור ענן נתמך אינו הוכחה לאפשרות התקשרות מישראל או לעמידה בדרישות מיקום נתונים. בדקו זאת לפני העברת מידע או התחייבות תקציבית.
5. מדדו איכות מול מורה ותלמיד בסיס
הריצו מורה, תלמיד בסיס ותלמיד מאומן על אותו מבחן, עם כללי ניקוד זהים. ירידה בהפסד האימון אינה מוכיחה התאמה לשימוש. בפלט מובנה בדקו סכימה ונכונות שדות; בפלט חופשי השתמשו במחוון מפורש. הנחיות ההערכה מזהירות מהטיות סדר ואורך אצל שופטי־מודל, ולכן נדרשת ביקורת אנושית.
לעברית, כללו ניסוחים מקומיים, ערבוב עברית–אנגלית, תאריכים, מספרים ושלילה. דווחו גם לפי סוג מקרה: ממוצע טוב עלול להסתיר כשל בקבוצה חשובה. מדדו זמני תגובה תחת עומס מייצג, כולל זמני קצה, ניסיונות חוזרים והעברה למורה. זו תוכנית בדיקה מוצעת, לא טענה לאיכות עברית מוכחת.
6. חשבו עלות לפני ואחרי
הפרידו השקעה ראשונית מעלות שוטפת. ההשקעה כוללת יצירת תשובות, סינון, אימונים חוזרים, הערכה ושילוב. העלות השוטפת כוללת הסקה או אירוח, ניטור, ניסיונות חוזרים והעברות למורה. לפי AWS, הרחבה סינתטית עשויה להוסיף קריאות מורה בתשלום; נתונים שנוצרים אוטומטית אינם נתונים חינמיים.
לפני: N × cT
אחרי: C0 + N × cS
נקודת איזון: N = C0 / (cT - cS), רק אם cT > cS
C0 = השקעה ראשונית
cT = עלות ממוצעת לבקשה במערכת הקיימת
cS = עלות ממוצעת לבקשה במערכת החדשה
N = מספר הבקשותזו מסגרת חישוב, לא תחזית חיסכון. מלאו אותה במדידות של תמהיל הבקשות בפועל, תחת דרישות איכות ושירות זהות. מחירון OpenAI מפריד בין מודלים מכווננים למודלי בסיס: השתמשו בתעריף המתאים. אם האירוח כרוך בעלות קבועה או שהנפח משתנה, הרחיבו את הנוסחה במקום להניח עלות אחידה לבקשה.
לפני פריסה: רשימת קבלה
שאלות נפוצות
האם דיסטילציה היא פשוט fine-tuning?
לא. Fine-tuning הוא מנגנון התאמה; דיסטילציה מתארת למידה ממורה. אפשר לבצע דיסטילציה באמצעות SFT על תשובות מורה, אך קיימים גם מסלולים אחרים.
כמה דוגמאות צריך?
אין מספר אוניברסלי. התחילו במאגר איכותי ומייצג, בדקו בוולידציה אם תוספת נתונים משפרת את המדדים, ושמרו את המבחן הסופי להחלטת הקבלה.
האם תלמיד קטן בהכרח יהיה זול יותר?
לא. אירוח, תשובות ארוכות, ניסיונות חוזרים והעברות למורה עלולים לצמצם את החיסכון. צריך לכלול גם את עלות ההקמה והתחזוקה.
האם צריך לאמן מחדש כשמחליפים מורה?
לא בהכרח, אך יש לבדוק מחדש את התאמת הנתונים והתלמיד. שמירת גרסאות המורה, הפרומפטים והמאגר מאפשרת לזהות מה השתנה ולהחליט אם נדרש אימון נוסף.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות