Bolmo: הסבת מודלי שפה לעבודה על בתים, בלי אימון מאפס

מודל שפה יכול לנסח תשובה משכנעת ובכל זאת להסתבך כשמבקשים ממנו לספור אותיות או לשמור במדויק על רצף תווים. מחקר Bolmo, שפורסם ב־Nature ב־7 באוקטובר 2026 לצד שחרור משקלים חדשים של Ai2, בוחן דרך לטפל בבעיה קרוב יותר לייצוג הטקסט: להסב מודלים קיימים לעבודה על בתים במקום חלקי מילים. לקוראים ולמפתחים בישראל זו סיבה לבדוק מחדש משימות בעברית ובניקוד, אבל עדיין לא הוכחה שהן נפתרו.

01מה התחדש ב־Bolmo, ומה כבר היה קיים

המאמר, שכותרתו Retrofitting language models to operate over bytes, אינו ההשקה הראשונה של Bolmo. ההתפתחות השבוע היא פרסום המחקר ב־Nature והרחבת המשקלים הזמינים מעבר למשפחת Olmo. ההבחנה חשובה: מדובר בהמשך של קו מחקר קיים, עם הרחבה של השיטה למודלים נוספים, ולא בהצגת רעיון חדש לחלוטין.

בלב העבודה נמצאת byteification, שיטת הסבה שמאפשרת למודל שכבר אומן לעבור לעיבוד בתים באמצעות אימון נוסף קצר יחסית. במקום לוותר על המודל הקיים ולבנות אחר מתחילת הדרך, החוקרים מבקשים להתאים אותו לצורת ייצוג אחרת של הקלט. זו שאלה מחקרית בעלת משמעות מעשית: עד כמה אפשר לשנות את היחידות שהמודל מעבד, ועדיין לנצל את היכולות שכבר רכש?

לפי התחקיר, השיטה מציעה שיפור במשימות שבהן התווים עצמם חשובים, ולצד זאת מתוארים יתרונות במשימות רב־לשוניות. אין כאן בסיס לקביעה שכל מודל מוסב יהיה טוב יותר בכל שימוש. החידוש המעניין הוא האפשרות לבדוק חלופה לחלוקת הטקסט המקובלת בלי לשאת בהכרח בעלות של אימון מלא מאפס.

02למה חלקי מילים אינם אותיות, ובתים אינם תווים

מודלי שפה רבים מקבלים טקסט אחרי ש־tokenizer מחלק אותו ליחידות מתוך אוצר מילים מוגדר. יחידה יכולה לייצג מילה, חלק ממילה, סימן פיסוק או רצף אחר. החלוקה הזאת שימושית לעיבוד שפה, אבל היא אינה מבטיחה שלמודל תהיה גישה פשוטה למבנה האותיות בכל מילה. משימה שנראית לאדם כמו ספירה בסיסית עשויה לדרוש מהמודל להתמודד עם ייצוג שלא מחלק את הטקסט באותו אופן.

עבודה על בתים משנה את רמת הייצוג. בית הוא יחידת מידע דיגיטלית, ולא אות או סימן כתוב. בקידוד UTF-8, למשל, תו עשוי להימשך על פני כמה בתים; גם אותיות עבריות אינן מיוצגות בהכרח בבית יחיד. לכן התיאור של Bolmo כמודל ש״קורא אות־אות״ יהיה קיצור מטעה. הוא פועל על יחידות בסיסיות יותר של קידוד הטקסט, ומהן עדיין צריך ללמוד לזהות מבנים ומשמעות.

ההבחנה הזאת בולטת בניקוד. מה שנראה לקורא כמו אות מנוקדת עשוי להיות רצף שמורכב מאות ומסימנים נוספים. כדי לשמר אותו, לספור אותו או לשנות רק חלק ממנו, צריך להגדיר היטב מהי יחידת הפעולה המבוקשת. ייצוג ברמת בתים יכול להיות רלוונטי למחקר של משימות כאלה, אבל הוא לא מחליף הבנה של הוראות או הגדרה נכונה של התשובה הרצויה.

03מה המחקר עדיין לא אומר על איכות ועלויות

אימון נוסף קצר יחסית אינו אימון ללא עלות. לפני שמסיקים שהסבת מודל משתלמת, צריך לדעת מה נדרש לתהליך ומה קורה לאחריו: האם איכות התשובות נשמרת, מהי צריכת הזיכרון, ואיך משתנים זמן התגובה וקצב העיבוד. התחקיר אינו מספק כאן נתונים שמאפשרים לקבוע כדאיות למערכת מסוימת, ולכן אין הצדקה להציג חיסכון מספרי או הבטחת ביצועים.

גם ההשוואה בין אורכי רצפים דורשת זהירות. מעבר מחלקי מילים לבתים משנה את היחידות שבהן מייצגים טקסט; אי אפשר לקחת מספר יחידות בשיטה אחת ולהתייחס אליו כאילו משמעותו זהה בשיטה האחרת. למפתח חשוב יותר לבדוק כמה טקסט שימושי המערכת מעבדת בפועל, באיזו איכות ובאילו מגבלות, מאשר להסתפק בשם הארכיטקטורה.

כדאי להפריד גם בין טיפול מדויק במחרוזת לבין אמינות התוכן. מודל שמעתיק מזהה מוצר ללא שגיאה עדיין עלול להסיק מסקנה לא נכונה לגבי המוצר. בדומה לכך, עבודה על בתים אינה כשלעצמה יכולת ראייה: אם הקלט הוא צילום של טופס, זיהוי האותיות בתמונה הוא שלב נפרד שיש לבחון.

04המבחן הישראלי: ניקוד, מזהים וטקסט מעורב

לעסק ישראלי, השימוש המעניין אינו בהכרח צ'אט שמנסח פסקה יפה יותר. הוא עשוי להיות תהליך שדורש לשמור בדיוק על מק״ט שמשלב עברית ואנגלית, לעבד טקסט לימודי מנוקד או להעתיק שם מתוך מסמך בלי להשמיט סימן. אלו דוגמאות למבחנים אפשריים, לא יכולות שכבר הוכחו עבור Bolmo בתחקיר.

צוות שרוצה להעריך את השיטה צריך להתחיל מהשוואה מבוקרת בין המודל המקורי לגרסה המוסבת, עם אותן הוראות ואותם פריטי בדיקה. כדאי לבחור משימות שבהן אפשר לזהות הצלחה באופן ברור, ולהפריד ביניהן לבין דירוג כללי של ניסוח. מערך בדיקה מקומי יכול לכלול:

• שימור ניקוד: העתקת משפטים בלי להוסיף, למחוק או להזיז סימני ניקוד.
• שינוי ממוקד: הסרת סימני ניקוד בלבד, תוך שמירה על האותיות והפיסוק.
• רצפים מעורבים: העתקה מדויקת של מזהים שמשלבים עברית, אנגלית וספרות.
• ספירת יחידות: הגדרה מפורשת אם סופרים אותיות, תווי Unicode או סימנים הנראים לקורא.
• בקרת יכולות: בדיקה שהשיפור במשימות תווים אינו בא על חשבון הבנת הוראות וסיכום בעברית.

למשימות דטרמיניסטיות כמו ספירה והסרת ניקוד, חשוב להשוות גם לקוד רגיל ולא רק למודל אחר. אם אפשר לפתור את הבעיה בצורה אמינה באמצעות פונקציה מוגדרת, אין צורך להפוך אותה למשימת יצירה. הערך האפשרי של Bolmo מעניין במיוחד במקום שבו צריך לשלב הבנת שפה עם רגישות למבנה המדויק של הטקסט.

הפרסום ב־Nature והמשקלים החדשים הופכים את Bolmo להתפתחות מחקרית שכדאי לעקוב אחריה. השאלה הבאה עבור הקהילה הישראלית היא ממוקדת: האם ההסבה משפרת משימות בעברית שבהן חלוקת הטקסט חשובה, ובאיזה מחיר תפעולי? תשובה משכנעת תגיע מהשוואות שקופות על מקרים אמיתיים, לא מההנחה שיחידת מידע קטנה יותר מבטיחה מודל טוב יותר.