ראש ה-Alignment באנתרופיק: מעל 10% סיכון ש-AI ישמיד את האנושות
אוון הובינגר מודה שאין תוכנית לשליטה בסופר-אינטליגנציה, שבועות לפני הנפקה של 2 טריליון דולר. ההצהרה מגיעה על רקע עזיבה סוערת של חוקר בכיר.
אוון הובינגר, ראש תחום מדע ה-Alignment באנתרופיק, פרסם השבוע ב-X הערכה אישית שקשה לעכל: הסיכון שבינה מלאכותית תהרוג את כל בני האדם עולה לדעתו על 10% בעשור הקרוב. חמור מכך, הוא הודה שלאנתרופיק אין כרגע תוכנית להבטיח שסופר-אינטליגנציה עתידית תישאר בשליטה אנושית. וכל זה קורה שבועות ספורים לפני הנפקה שעשויה להעריך את החברה ב-2 טריליון דולר.
מה קרה: התפטרות אחת שהציתה שרשרת
הסערה החלה ביום שלישי, כשג'ייקוב קוקסון, חוקר שעבד גם ב-OpenAI וגם באנתרופיק, הודיע על עזיבתו בפוסט חריף. קוקסון האשים את שתי החברות בכך שהן "מהמרות בחיי אדם" במרוץ לסופר-אינטליגנציה משתפרת-עצמית. הפוסט הפך ויראלי במהירות יוצאת דופן וצבר מעל 110 מיליון צפיות ב-X.
התגובה של הובינגר, שפורסמה ב-8-9 בספטמבר, נועדה כנראה להפגין שקיפות ויושרה אינטלקטואלית. בפועל היא שפכה דלק על המדורה. המשפט שלו, "we really do earnestly believe AI could kill all humans", הפך בתוך שעות לאחד הציטוטים המתגלגלים ביותר ברשת, והציב את אנתרופיק במרכז דיון ציבורי שהיא ממש לא רצתה בו בעיתוי הזה.
כשמנהל בכיר בחברה שבונה את המודלים החזקים בעולם אומר בקול רם שאין תוכנית לשלוט בהם, זה כבר לא ויכוח אקדמי. זה נתון מהותי שמשקיעים ורגולטורים לא יכולים להתעלם ממנו.
ההקשר: שקיפות כאסטרטגיה, או תקלה תקשורתית
אנתרופיק בנתה את המותג שלה על בטיחות. החברה נוסדה על ידי יוצאי OpenAI שעזבו בדיוק בגלל חילוקי דעות על ניהול סיכונים, וההבטחה שלה למשקיעים ולציבור הייתה תמיד שאפשר לפתח AI חזק בצורה אחראית. הצוות של הובינגר הוא בדיוק הגוף שאמור לוודא שההבטחה הזו מתקיימת.
לכן ההודאה שלו כל כך נפיצה. זו לא ביקורת של גורם חיצוני או של מתפטר ממורמר, אלא הערכה של האדם שמוביל את מדע ה-Alignment בחברה עצמה. אפשר לקרוא את זה בשתי דרכים: או כהוכחה שאנתרופיק באמת שקופה יותר מהמתחרות ומוכנה לומר את האמת הלא נוחה, או כאישור לטענה של קוקסון שגם החברה שמתהדרת בבטיחות ממשיכה במרוץ בלי מפת דרכים אמיתית לשליטה.
הנפקה של 2 טריליון דולר בצל סימני שאלה
העיתוי הוא הסיפור בתוך הסיפור. אנתרופיק מתקרבת להנפקה שלפי ההערכות עשויה לתמחר אותה בסביבות 2 טריליון דולר, מה שיהפוך אותה לאחת ההנפקות הגדולות בהיסטוריה. תשקיף הנפקה מחייב גילוי של גורמי סיכון מהותיים, ועכשיו יש ציטוט פומבי של מנהל בכיר שמכמת את הסיכון הקיצוני ביותר שאפשר להעלות על הדעת.
מבחינת משקיעים מוסדיים, זו דילמה חדשה. מצד אחד, שוק ה-AI ממשיך לצמוח בקצב מסחרר והביקוש למודלים של אנתרופיק גבוה. מצד שני, הצהרות כאלה עלולות להזמין רגולציה אגרסיבית יותר, תביעות עתידיות, ולחץ ציבורי שישפיע על קצב ההשקות של החברה. שוק ההון יודע לתמחר סיכון עסקי, אבל "סיכון הכחדה" הוא קטגוריה שאין לה עדיין שורה בטבלת אקסל.
הובינגר לא הציג מחקר חדש אלא הערכה אישית (מה שמכונה בקהילה p(doom)). הערכות כאלה נפוצות בקרב חוקרי בטיחות, אבל נדיר שבכיר בתפקיד רשמי מפרסם אותן בפומבי בעיתוי כה רגיש עסקית.
למה זה חשוב גם לישראלים
מעבר לדיון הפילוסופי, יש כאן השלכות מעשיות. חברות ישראליות רבות, מסטארטאפים ועד ארגוני אנטרפרייז, בונות מוצרים על גבי המודלים של אנתרופיק. אם הסערה תוביל להאטה בקצב ההשקות, להקשחת מדיניות שימוש או לרגולציה חדשה בארה"ב ובאירופה, זה ישפיע ישירות על מפת הדרכים של כל מי שתלוי ב-API של החברה.
- מפתחים ישראלים שבונים על מודלים של אנתרופיק כדאי שיוודאו שיש להם ארכיטקטורה שמאפשרת מעבר בין ספקים, למקרה של שינויי מדיניות פתאומיים
- סטארטאפים בתחום ה-AI Safety וה-Evaluation, תחום שבו יש לישראל נוכחות מחקרית, עשויים דווקא ליהנות מגל השקעות ותשומת לב
- ארגונים שמאמצים סוכני AI אוטונומיים יידרשו יותר ויותר להציג מנגנוני פיקוח אנושי, גם מול לקוחות וגם מול רגולטורים
- הדיון על רגולציית AI בישראל, שמתנהל עד כה בעצלתיים, צפוי לקבל רוח גבית מהכותרות הגלובליות
מה הלאה: מבחן השקיפות של התעשייה כולה
אנתרופיק טרם פרסמה תגובה רשמית מסודרת לסערה, וסביר שבשבועות הקרובים נראה ניסיון למסגר מחדש את דבריו של הובינגר כחלק מתרבות של דיון פתוח בסיכונים. השאלה הגדולה היא איך יגיבו המתחרות: OpenAI וגוגל נמנעות בדרך כלל מהצהרות מכומתות על סיכונים קיצוניים, ועכשיו יישאלו למה.
בטווח הארוך, ייתכן שדווקא הרגע המביך הזה יתברר כנקודת מפנה חיובית: פעם ראשונה שהערכות סיכון שהיו עד כה נחלת פורומים פנימיים ומאמרים אקדמיים נדונות בפומבי, מול משקיעים, רגולטורים וציבור רחב. גם מי שחושב שהמספר של הובינגר מוגזם יתקשה לטעון שעדיף היה שלא נדע מה חושבים האנשים שבונים את המערכות האלה.
שאלות נפוצות
מה אמר אוון הובינגר מאנתרופיק על סיכון ההכחדה מ-AI?
הובינגר, ראש תחום מדע ה-Alignment באנתרופיק, פרסם ב-X שהוא מעריך אישית שהסיכון ש-AI יהרוג את כל בני האדם עולה על 10% בעשור הקרוב. הוא גם הודה שלחברה אין כרגע תוכנית להבטיח שסופר-אינטליגנציה עתידית תישאר בשליטה אנושית.
מה זה p(doom) בעולם הבינה המלאכותית?
p(doom) הוא מונח מקובל בקהילת חוקרי בטיחות ה-AI לתיאור ההסתברות האישית שאדם מייחס לתרחיש קטסטרופלי שבו AI גורם לאסון קיומי לאנושות. מדובר בהערכה סובייקטיבית ולא בחישוב מדעי מדויק, והערכים משתנים מאוד בין חוקרים.
האם הסערה תשפיע על ההנפקה של אנתרופיק?
עדיין מוקדם לדעת. ההנפקה עשויה להעריך את אנתרופיק בכ-2 טריליון דולר, והצהרות פומביות על סיכונים קיצוניים עלולות לחייב גילוי בתשקיף ולעורר שאלות מצד משקיעים מוסדיים ורגולטורים. מנגד, הביקוש למודלים של החברה נותר גבוה.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות