קוד פתוח בביטחון: צה"ל ומשרד הביטחון מאמצים מודלי LLM מקומיים
מערכת הביטחון בישראל עוברת ממודלי ענן למודלים במשקולות פתוחות שרצים בתשתיות סגורות. מה מאחורי המהלך ומה זה אומר לתעשייה המקומית.
מערכת הביטחון הישראלית משנה כיוון בכל הנוגע לבינה מלאכותית: במקום להסתמך על מודלי ענן של ספקים זרים, יותר ויותר יחידות טכנולוגיות עוברות למודלים במשקולות פתוחות שרצים על תשתיות מקומיות ומנותקות. המהלך, שהתחיל כפיילוטים מצומצמים, הופך בחודשים האחרונים למדיניות של ממש, והוא משנה גם את מפת ההזדמנויות עבור חברות ישראליות שמוכרות לשוק הביטחוני.
מה קורה בשטח: מהענן אל השרת המקומי
בשנתיים האחרונות התרגלו ארגונים בישראל לצרוך יכולות שפה דרך API של ספקי ענן גדולים. אבל עבור גופים ביטחוניים המשוואה שונה מהיסוד: מידע מסווג לא יכול לצאת מהרשתות הסגורות, ולכן כל שימוש במודל חיצוני מוגבל למידע בלתי מסווג בלבד. הפתרון שהתגבש הוא הרצה של מודלים במשקולות פתוחות בתוך סביבות air-gapped, כלומר רשתות מנותקות פיזית מהאינטרנט, על גבי אשכולות GPU ייעודיים שנרכשו והוקמו בתוך המתקנים עצמם.
ההבשלה של מודלים פתוחים בגדלים בינוניים היא מה שהפך את המהלך לאפשרי. אם לפני שנתיים הפער בין מודל פתוח למודל הסגור המוביל היה תהומי, היום מודלים שניתן להריץ על שרת מקומי מספקים ביצועים טובים מספיק למשימות הליבה: סיכום מסמכים, חילוץ ישויות, מענה על שאלות מתוך מאגרי ידע פנימיים וסיוע בכתיבת קוד. עבור רוב תרחישי השימוש הביטחוניים, ״טוב מספיק ומאובטח״ מנצח את ״מצוין אבל בענן של מישהו אחר״.
למה דווקא עכשיו: שלושה כוחות שנפגשו
- הבשלת המודלים הפתוחים: הדור הנוכחי של מודלים במשקולות פתוחות סוגר את רוב הפער מול המודלים הסגורים במשימות טקסט וקוד, במיוחד אחרי fine-tuning על דאטה ייעודי.
- לקחי המלחמה: התלות בספקים זרים בזמן חירום הפכה מסיכון תיאורטי לשיקול מבצעי. גופים ביטחוניים דורשים יכולת שממשיכה לעבוד גם אם ספק חיצוני משנה מדיניות או מנתק שירות.
- ירידת עלויות החומרה: מחירי ההרצה של מודלים בגודל בינוני צנחו, וטכניקות כמו קוונטיזציה ודיסטילציה מאפשרות להריץ יכולות רציניות על מספר מצומצם יחסית של כרטיסי GPU.
- רגולציה ומדיניות: הנחיות אבטחת מידע ממלכתיות מקשות ממילא על העברת מידע רגיש לעננים ציבוריים, כך שהמסלול המקומי הוא לעיתים היחיד האפשרי.
השאלה כבר לא אם מריצים מודלים בפנים, אלא כמה מהר אפשר להכשיר אנשים שיודעים לתחזק אותם. הצוואר בקבוק היום הוא כוח אדם שמבין גם ב-LLM וגם בסביבות מסווגות, וזה משאב נדיר מאוד
האתגר האמיתי: עברית, דאטה ותחזוקה בלי אינטרנט
הרצת מודל בסביבה סגורה היא רק ההתחלה. רוב המודלים הפתוחים אומנו בעיקר על אנגלית, והביצועים שלהם בעברית, ובמיוחד בז'רגון צבאי ומקצועי, נופלים מהותית. לכן חלק ניכר מהעבודה בגופים האלה מוקדש ל-fine-tuning על קורפוסים פנימיים, לבניית מערכי הערכה (evals) ייעודיים בעברית ולפיתוח צינורות RAG שמחברים את המודל למאגרי המידע המסווגים.
יש גם אתגר תפעולי שרוב הארגונים האזרחיים לא מכירים: איך מעדכנים מודל כשאין חיבור לאינטרנט? כל גרסה חדשה של משקולות, כל ספריית קוד וכל עדכון אבטחה עוברים תהליך העברה מבוקר אל הרשת הסגורה, נבדקים ורק אז נפרסים. המשמעות היא שהגופים האלה תמיד מפגרים בכמה חודשים אחרי חזית המודלים הפתוחים, ובוחרים ביציבות על פני חידוש.
סביבת air-gapped היא רשת מחשבים מנותקת פיזית מכל רשת חיצונית. בעולם ה-AI זה אומר שהמודל, הדאטה וכל כלי הפיתוח חייבים לשבת בתוך הרשת עצמה, ללא קריאות API החוצה, ללא טלמטריה וללא עדכונים אוטומטיים.
מה זה אומר לתעשייה הישראלית
עבור חברות ישראליות, מדובר בשוק חדש שנפתח. גופים ביטחוניים מחפשים ספקים לשלושה רבדים: תשתית (אינטגרציה של אשכולות GPU בסביבות מסווגות), פלטפורמה (כלי ניהול, ניטור והערכה למודלים שרצים בפנים) ושכבת האפליקציה (עוזרי ידע, כלי סיכום וניתוח מותאמים לעברית). סטארטאפים שבנו יכולות on-prem, שנחשבו עד לא מזמן לפחות אטרקטיביות מפתרונות SaaS, מוצאים את עצמם פתאום עם יתרון מובנה.
יש כאן גם אפקט גלישה לשוק האזרחי: בנקים, קופות חולים וחברות תשתית בישראל, שמתמודדים עם דרישות רגולטוריות דומות של שמירת מידע בגבולות הארגון, עוקבים מקרוב אחרי הפתרונות שמבשילים בעולם הביטחוני. מי שיוכיח שהמערכת שלו עובדת בסביבה הכי תובענית שיש, יתקשה הרבה פחות למכור אותה לגוף פיננסי או רפואי.
מה הלאה: מריבונות תשתית לריבונות מודלים
השלב הבא, לפי גורמים בתחום, הוא מעבר מהתאמה של מודלים קיימים לפיתוח יכולות אימון עצמאיות יותר: continued pretraining על קורפוסים בעברית ובשפות רלוונטיות נוספות, ובניית מודלים ייעודיים למשימות צרות שבהן מודל קטן ומאומן היטב עוקף מודל כללי גדול. במקביל צפויה התרחבות של שיתופי פעולה בין האקדמיה, יחידות טכנולוגיות ותעשיית ההייטק סביב הכשרת כוח אדם, כי בסוף, המכונות זמינות; האנשים שיודעים להפעיל אותן הרבה פחות.
לקוראים בתעשייה, המסקנה המעשית פשוטה: מומחיות בהרצה, כוונון והערכה של מודלים פתוחים בסביבות סגורות הופכת לאחד הכישורים המבוקשים בשוק הישראלי. מי שמגיע מעולמות ה-MLOps או אבטחת המידע ומוסיף לארגז הכלים שלו ניסיון עם משקולות פתוחות, נמצא בדיוק בנקודת החיתוך שהשוק הזה צמא לה.
שאלות נפוצות
מה זה מודל LLM במשקולות פתוחות ולמה זה חשוב לארגונים ביטחוניים?
מודל במשקולות פתוחות הוא מודל שפה שקובצי המשקולות שלו זמינים להורדה ולהרצה עצמאית, בלי תלות בספק ענן. עבור ארגונים ביטחוניים זה קריטי, כי כך ניתן להריץ את המודל ברשת סגורה בלי שמידע מסווג יוצא החוצה.
איך מריצים מודל AI בסביבה מנותקת מהאינטרנט (air-gapped)?
מתקינים את משקולות המודל, ספריות הקוד וכלי ההסקה על שרתי GPU בתוך הרשת הסגורה, לאחר תהליך העברה ובדיקה מבוקר. כל עדכון גרסה עובר את אותו מסלול ידני, ולכן סביבות כאלה בדרך כלל מפגרות בכמה חודשים אחרי חזית המודלים.
האם מודלים פתוחים טובים מספיק בעברית לשימוש מקצועי?
מודלים פתוחים ברירת מחדל חלשים יותר בעברית מאשר באנגלית, במיוחד בז'רגון מקצועי. בפועל ארגונים סוגרים את הפער באמצעות fine-tuning על דאטה פנימי, צינורות RAG ומערכי הערכה ייעודיים בעברית, וכך מגיעים לרמה שמספיקה לרוב משימות הסיכום, החיפוש והניתוח.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות