בנצ'מרקים בעברית ל-LLM: המדד הישראלי שמודד מה המודלים באמת יודעים
חוקרים ישראלים בונים בנצ'מרקים ייעודיים לעברית שחושפים פערים גדולים בין מודלים מובילים. איך מודדים הבנת עברית, ולמה זה קריטי לעסקים בארץ.
מודל שמקבל ציון מרשים ב-MMLU באנגלית יכול להיכשל בשאלה פשוטה על סמיכות או על ראשי תיבות צבאיים בעברית. הפער הזה, שכל מפתח ישראלי מכיר מהשטח, הופך בחודשים האחרונים למושא מחקר מסודר: קבוצות באקדמיה ובתעשייה בארץ בונות בנצ'מרקים ייעודיים לעברית, והתוצאות הראשונות מטלטלות כמה הנחות יסוד על אילו מודלים באמת שולטים בשפה.
מה קרה: העברית מקבלת סוף סוף מדדים משלה
במשך שנים הסתמכה הקהילה על תרגומים אוטומטיים של בנצ'מרקים אנגליים כדי להעריך יכולות בעברית. הבעיה ידועה: תרגום מכני מייצר שאלות מלאכותיות, מוחק דו-משמעויות שקיימות רק בעברית, ומתעלם לגמרי מידע תרבותי ומקומי. שאלה מתורגמת על ליגת הבייסבול האמריקאית לא בודקת שום דבר רלוונטי למשתמש בתל אביב.
הגישה החדשה שונה מהיסוד: מערכי שאלות שנכתבים מלכתחילה בעברית, על ידי דוברי עברית, וכוללים משימות שאין להן מקבילה באנגלית. בין המשימות: ניתוח מורפולוגי של מילים רב-משמעיות ללא ניקוד, פענוח ראשי תיבות בהקשר, הבנת סלנג ישראלי עדכני, שאלות ידע על היסטוריה ומשפט ישראלי, והבנת נקרא ברמות שונות של משלב, מטקסט מקראי ועד הודעת ועד בית.
למה עברית היא מקרה קצה כל כך קשה
עברית מציבה בפני מודלי שפה שלושה מכשולים מבניים. הראשון הוא הכתב חסר הניקוד: המילה "ספר" יכולה להיות שם עצם, פועל או עיר, והמודל חייב להסיק את הכוונה מההקשר בלבד. השני הוא המורפולוגיה העשירה, שבה מילת יחס, תווית יידוע וכינוי שייכות נדבקים למילה אחת ומנפחים את מרחב הצורות האפשריות. השלישי הוא בעיית הטוקניזציה: רוב ה-tokenizers של המודלים הגדולים אומנו על קורפוסים שרובם אנגלית, ולכן מילה עברית ממוצעת מתפרקת להרבה יותר טוקנים ממילה אנגלית מקבילה.
- כתב חסר ניקוד שמייצר רב-משמעות מסיבית ברמת המילה הבודדת
- מורפולוגיה צירופית: "וכשמביתם" היא מילה אחת עם חמישה מרכיבים דקדוקיים
- טוקניזציה לא יעילה שמייקרת כל קריאת API ומקצרת בפועל את ה-context window
- מחסור בדאטה איכותי: העברית מהווה שבריר זעיר מקורפוס האימון של המודלים הגדולים
- ידע מקומי: מודלים טועים בעובדות בסיסיות על ישראל שדובר עברית מזהה מיד
מודל יכול לנסח מייל עסקי סביר בעברית ועדיין להיכשל בהבנת חוזה שכירות סטנדרטי. בלי בנצ'מרק שבודק את שתי הרמות, חברות בוחרות מודל לפי תחושת בטן, וזה מתכון לתקלות בפרודקשן.
מה הבדיקות הראשונות מגלות
התמונה שעולה מההרצות הראשונות מורכבת. המודלים הגדולים והמובילים אכן מציגים עברית שוטפת ברמת הניסוח, אבל הפער בינם לבין הביצועים שלהם באנגלית נשאר משמעותי דווקא במשימות הבנה עמוקה: הסקה לוגית על טקסט עברי ארוך, זיהוי אירוניה, והתמודדות עם משלב משפטי או רפואי. במשימות ידע מקומי הפערים חדים עוד יותר, ומודלים שמובילים בטבלאות העולמיות מפגרים לפעמים אחרי מתחרים שהושקע בהם מאמץ ייעודי בשפות שאינן אנגלית.
ממצא מעניין נוסף נוגע ל-RAG: כשמזינים למודל מסמכים בעברית ומבקשים תשובה מבוססת מקורות, חלק מהמודלים נוטים "לברוח" לידע הפנימי שלהם באנגלית ולתרגם בחזרה, מה שמייצר שגיאות עובדתיות שקשה לאתר. בנצ'מרקים שבודקים נאמנות למקור (faithfulness) בעברית הופכים לכן לקריטיים לכל מי שבונה מערכת ארגונית על מסמכים פנימיים.
בוחרים מודל לפרויקט בעברית? אל תסתפקו בטבלאות הגלובליות. הריצו הערכה על 50-100 דוגמאות אמיתיות מהדומיין שלכם, כולל מקרי קצה של סלנג, ראשי תיבות ומספרים, לפני שמתחייבים לספק.
הזווית הישראלית: ממחקר אקדמי לכלי עבודה
עבור התעשייה המקומית מדובר בהרבה יותר מסקרנות אקדמית. בנקים, קופות חולים וגופי ממשלה שמטמיעים מערכות מבוססות LLM נדרשים להוכיח שהמערכת מבינה עברית ברמה מספקת, ורגולטורים מתחילים לשאול על אילו מדדים ההערכה נשענת. בנצ'מרק עברי מוסכם ופתוח יכול להפוך לתנאי סף במכרזים, בדומה למה שקרה עם תקני אבטחת מידע.
גם לסטארטאפים יש כאן הזדמנות: צוות שמפרסם תוצאות שקופות על ביצועי המוצר שלו בבנצ'מרק עברי מוכר מקבל יתרון מול לקוחות ארגוניים. ובצד המחקרי, מערכי הנתונים החדשים משמשים לא רק להערכה אלא גם ל-fine-tuning ממוקד, מה שמאפשר לחברות ישראליות לסגור פערים בעברית בלי לאמן מודל מאפס.
מה הלאה: לקראת טבלת ליגה עברית קבועה
הכיוון המסתמן הוא leaderboard ציבורי ומתעדכן לעברית, בדומה לטבלאות ההערכה הבינלאומיות, עם קטגוריות נפרדות להבנת נקרא, ידע מקומי, קוד עם הנחיות בעברית ויכולות שיחה. האתגר המרכזי יהיה זיהום נתונים: ברגע שבנצ'מרק מתפרסם, השאלות שלו מחלחלות לקורפוסי האימון של הדור הבא, והציונים מתנפחים באופן מלאכותי. לכן חלק מהקבוצות שומרות מערך בדיקה חסוי ומריצות את ההערכות בעצמן.
בין אם הטבלה המאוחדת תגיע השנה או בזו שאחריה, הכיוון ברור: העברית מפסיקה להיות שפה שמסתפקים לגביה בהערכות מאולתרות. למשתמשים ולעסקים בארץ זו בשורה מעשית, כי בפעם הראשונה אפשר יהיה לענות על השאלה "איזה מודל הכי טוב בעברית" עם נתונים במקום תחושות.
שאלות נפוצות
איזה מודל שפה הכי טוב בעברית?
אין תשובה אחת נכונה: מודלים שמובילים באנגלית לא תמיד מובילים בעברית, במיוחד במשימות ידע מקומי והבנת טקסט ארוך. ההמלצה המעשית היא להריץ הערכה על דוגמאות אמיתיות מהדומיין שלכם ולהשוות כמה מודלים לפני בחירה.
למה מודלי AI מתקשים בעברית יותר מאשר באנגלית?
שלוש סיבות עיקריות: כתב חסר ניקוד שיוצר רב-משמעות, מורפולוגיה עשירה שבה מילה אחת מכילה כמה מרכיבים דקדוקיים, וטוקניזציה לא יעילה שנובעת מכך שהעברית מהווה חלק זעיר מנתוני האימון. התוצאה היא ביצועים נמוכים יותר ועלות API גבוהה יותר לאותו טקסט.
מה זה בנצ'מרק ל-LLM ואיך הוא עובד?
בנצ'מרק הוא מערך שאלות ומשימות קבוע שמריצים על כמה מודלים כדי להשוות ביניהם באופן אובייקטיבי. הציון משקף כמה תשובות נכונות או איכותיות המודל מפיק, וכשמדובר בעברית חשוב שהשאלות ייכתבו במקור בעברית ולא יתורגמו אוטומטית מאנגלית.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות