Unsloth Desktop: המדריך המלא להרצת AI מקומי במחשב הביתי

מי שרצה עד היום להריץ מודלים מקומיים, לבצע פיין-טיונינג ולחבר סוכן קוד לאותו מודל, נאלץ לתחזק ערימה של כלים נפרדים: שרת הרצה אחד, סקריפטים לאימון, ממשק צ'אט שלישי. Unsloth Desktop, שסביבו התפרסם ב-3 בספטמבר גל של מדריכים חדשים, מאגד את כל זה באפליקציה חינמית אחת בקוד פתוח. במדריך הזה נעבור צעד-אחר-צעד על התקנה, הרצת מודל ראשון, חיבור ל-OpenCode ובניית פרויקט פייתון שעובד מול ה-API המקומי.

01מה זה Unsloth Desktop ולמה זה שינוי אמיתי

Unsloth מוכרת למפתחים בעיקר כספריית פיין-טיונינג יעילה, אבל גרסת הדסקטופ היא סיפור אחר: אפליקציה אחת ל-macOS, Windows ולינוקס שמרכזת הרצת LLMs, פיין-טיונינג, מודלי ראייה, יצירת תמונות ווידאו, סוכני קוד דרך OpenCode ו-API מקומי תואם. במקום לתחזק סביבת פיתוח שבורה של חמישה כלים, מקבלים נקודת כניסה אחת שגם מתאימה למי שלא חי בטרמינל.

היתרון המרכזי הוא פרטיות ושליטה: שום דבר לא עוזב את המחשב. עבור עסקים ישראליים שמתמודדים עם דרישות רגולציה על מידע רגיש, כמו משרדי עורכי דין, קליניקות או חברות ביטחוניות, זו דרך מעשית להתחיל לעבוד עם AI בלי לשלוח נתונים לענן אמריקאי, ובלי עלות חודשית על טוקנים.

02שלב 1: התקנה ובחירת מודל ראשון

ההתקנה עצמה פשוטה: מורידים את הגרסה המתאימה למערכת ההפעלה מהאתר הרשמי של Unsloth ומתקינים כמו כל אפליקציה. בהרצה הראשונה האפליקציה מזהה את החומרה שלכם, כמות RAM, כרטיס מסך ו-VRAM זמין, ומציעה מודלים שמתאימים למכונה. זה חוסך את שלב הניחושים שהפיל הרבה מתחילים בעבר.

1. הורידו את קובץ ההתקנה לפי מערכת ההפעלה (בלינוקס מדובר בחבילה מוכנה, המדריכים החדשים מלווים את התהליך שלב-שלב)
2. פתחו את האפליקציה ותנו לה לסרוק את החומרה, שימו לב כמה VRAM זוהה
3. בחרו מודל מהקטלוג המובנה בגודל שמתאים לזיכרון שלכם, עדיף להתחיל קטן ולעלות
4. הריצו שיחת צ'אט ראשונה מתוך הממשק כדי לוודא שהכול עובד לפני שממשיכים הלאה

03שלב 2: חיבור OpenCode והפעלת ה-API המקומי

החלק המעניין באמת מתחיל כשמדליקים את שרת ה-API המקומי מתוך האפליקציה. Unsloth Desktop חושף endpoint מקומי בפורמט המוכר של OpenAI, מה שאומר שכל כלי או ספרייה שיודעים לדבר עם ה-API הזה יעבדו מול המודל שרץ אצלכם, כולל סוכן הקוד OpenCode שמגיע משולב. מגדירים ב-OpenCode את הכתובת המקומית כספק, בוחרים את המודל הרץ, ומקבלים סוכן קוד שקורא וכותב קבצים בפרויקט בלי שאף שורה עוזבת את המחשב.

אחרי שהשרת רץ, בניית פרויקט פייתון מולו זהה כמעט לחלוטין לעבודה מול ספק ענן, רק שכתובת הבסיס מצביעה על המחשב שלכם:

from openai import OpenAI

# מתחברים לשרת המקומי של Unsloth Desktop במקום לענן
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="local"  # אין צורך במפתח אמיתי
)

response = client.chat.completions.create(
    model="local-model",  # שם המודל שרץ באפליקציה
    messages=[{"role": "user", "content": "סכם את הקובץ הבא בשלוש נקודות"}],
)
print(response.choices[0].message.content)

היופי בגישה הזו: קוד שכתבתם מול המודל המקומי עובר לספק ענן בשינוי שתי שורות, ולהפך. אפשר לפתח ולבדוק בחינם בבית, ולהחליף ספק רק כשבאמת צריך יכולות כבדות יותר.

04שלב 3: פיין-טיונינג בלי לצאת מהאפליקציה

כאן Unsloth Desktop מתבדל מכלי הרצה מקומיים אחרים: אותה אפליקציה שמריצה את המודל גם יודעת לאמן אותו. מכינים קובץ דוגמאות בפורמט שיחות, בוחרים מודל בסיס מהקטלוג, מגדירים פרמטרים בסיסיים ומריצים. הספרייה של Unsloth ידועה ביעילות הזיכרון שלה, כך שפיין-טיונינג של מודל קטן אפשרי גם על כרטיס מסך צרכני, לא רק על שרתים.

תרחיש ישראלי קונקרטי: חברה שרוצה מודל שמסווג פניות לקוחות בעברית לפי קטגוריות פנימיות. במקום לשלם על API חיצוני ולהתמודד עם שאלות פרטיות, אוספים כמה מאות דוגמאות מתויגות, מריצים פיין-טיונינג מקומי בערב אחד, ומקבלים מודל ייעודי שרץ על מחשב במשרד.

05למי זה מתאים ומה המגבלות

חשוב לתאם ציפיות: מודל מקומי בגודל שרץ על מחשב ביתי לא מתחרה במודלי הדגל של הענן, לא בהיסק מורכב ולא בהקשרים ארוכים במיוחד. העברית של מודלים פתוחים קטנים גם היא לרוב חלשה מזו של המודלים הגדולים. אבל למשימות ממוקדות, סיווג, סיכום, השלמת קוד, עיבוד מסמכים רגישים, זה מספיק בהחלט, ובחינם.

• מתאים: מפתחים שרוצים סוכן קוד פרטי, עסקים עם מידע רגיש, סטודנטים וחוקרים בלי תקציב ענן
• מתאים: ניסויים בפיין-טיונינג לפני השקעה בתשתית אימון רצינית
• פחות מתאים: משימות היסק כבדות, עברית ברמה גבוהה, או צוותים שצריכים throughput גבוה במקביל

השורה התחתונה: Unsloth Desktop מוריד את מחסום הכניסה ל-AI פרטי מרמת "פרויקט סוף שבוע למי שמבין" לרמת התקנת אפליקציה. למפתח הישראלי זה אומר סביבת ניסויים חינמית ומלאה על המחשב הקיים, ולעסקים זו נקודת התחלה מעשית לפני כל התחייבות לספק ענן.