מחקר על 26 מודלי שפה: מקורות מומצאים ב-55.4% מהתשובות

רשימת מקורות שמפיק מודל שפה יכולה להיראות מוכנה להגשה, ובכל זאת לכלול מאמרים שלא קיימים ופרטים ביבליוגרפיים שגויים. מחקר שהוגש ל-arXiv ב-14 בספטמבר 2026 בחן 26 מודלים במשימת השלמת אסמכתאות ביו-רפואיות: 55.4% מהתשובות בכלל המודלים כללו מקורות מומצאים, ואף מודל לא עבר 54.6% תשובות נכונות בכל השדות הביבליוגרפיים שנבדקו. לסטודנטים, לחוקרים ולאנשי בריאות בישראל, זו תזכורת מעשית: הפניה שנראית מדעית עדיין אינה מקור מאומת.

01מה נבדק: השלמת אסמכתאות, לא אבחון רפואי

המאמר, Biomedical Reference Generation Remains Unreliable across 26 Large Language Models, בחן השלמת מקורות ל-69 קטעים ביו-רפואיים בעשרה תחומים. זו משימה מוגדרת של הפקת אסמכתאות לטקסט, ולא מבחן שבו המודלים התבקשו לאבחן מטופלים או לבחור טיפול. את התוצאות צריך לקרוא בתוך הגבול הזה: הן עוסקות באמינות ההפניות שהתקבלו בתנאי הבדיקה.

שני הנתונים המרכזיים מתארים כשלים שונים. שיעור התשובות שכללו מקורות מומצאים מלמד על הבעיה הבסיסית של הפניה לפרסום שאינו קיים. לעומתו, מדד הנכונות בכל השדות הביבליוגרפיים בוחן דרישה מחמירה יותר: גם אם המאמר קיים, האם פרטי ההפניה אליו נכונים? מציאת מאמר אמיתי אינה מבטיחה שהמחברים, השנה וכתב העת נמסרו ללא שגיאות.

ההבחנה הזאת חשובה גם בקריאת המספרים עצמם. 55.4% הוא שיעור התשובות שכללו מקורות מומצאים, ולא בהכרח שיעור המקורות הבודדים שהומצאו. בדומה לכך, התקרה של 54.6% מתייחסת לנכונות מלאה בשדות שנבדקו, ולא לטענה שכל תוכן התשובה היה שגוי בכל מקרה אחר.

02למה מאמר אמיתי עדיין לא מספיק

באימות אסמכתה יש למעשה שלוש שאלות נפרדות: האם הפרסום קיים, האם ההפניה מתארת אותו נכון, והאם תוכנו תומך בטענה שבטקסט. המחקר המתואר מציף את שתי הראשונות. השאלה השלישית היא שלב נוסף בעבודה המדעית, ואין להסיק ממדדי הביבליוגרפיה לבדם שהקשר בין המקור לטענה נבדק או נמצא תקין.

נניח, כדוגמה עקרונית, שמודל מציע מאמר אמיתי אך מצמיד לו שנת פרסום שגויה. זו אינה המצאה מלאה של מקור, אבל זו עדיין הפניה פגומה. במקרה אחר, כל הפרטים עשויים להיות מדויקים, בעוד שהמאמר עוסק באוכלוסייה אחרת מזו שעליה נכתב הטקסט. לכן גם הצלחה באימות הרשומה אינה פוטרת מקריאת המאמר עצמו.

כאן גם עובר הגבול בין סיוע בניסוח לבין ביסוס מדעי. אפשר להיעזר במודל כדי לארגן שאלות, להציע מונחי חיפוש או לשפר טיוטה. אבל כאשר הוא מספק רשימת מקורות, הרשימה צריכה להיחשב נקודת מוצא לבדיקה, לא ראיה שכבר עברה ביקורת. בקשה נוספת מהמודל לאשר שהוא בטוח אינה תחליף לפתיחת המקור.

03מה זה אומר לסטודנטים ולצוותים רפואיים בישראל

לסטודנטית לרפואה שמכינה סקירת ספרות, לחוקר שמנסח הצעת מחקר או לצוות שמכין חומר הדרכה בבית חולים, המשמעות אינה שחייבים לוותר על AI. המשמעות היא להפריד בין יצירת הטיוטה לבין אישור האסמכתאות. מקור שלא אותר ונבדק לא צריך לקבל מעמד של הפניה סופית רק משום שהוא מופיע בפורמט אקדמי משכנע.

בעבודה שמשלבת טקסט בעברית ומקורות באנגלית, כדאי לשמור את כותרת הפרסום המקורית ואת מזהה המאמר, אם קיים, לצד הניסוח העברי. זו המלצת עבודה, לא ממצא על עברית מהמחקר. תרגום חופשי של כותרת עשוי להקשות על איתור המקור, ולכן עדיף לא להפוך את התרגום לתחליף לרשומה המקורית.

גם למפתחי כלי מחקר במוסדות ישראליים יש כאן לקח תכנוני: בממשק כדאי להפריד במפורש בין מקור שהמודל הציע לבין רשומה שנשלפה ממאגר ונבדקה. הצגת קישור היא התחלה, אך אינה מוכיחה לבדה שהתוכן בקישור תואם לפרטי ההפניה או תומך במשפט שאליו הוצמד. רצוי לאפשר למשתמש לראות את הרשומה המקורית ולא רק את סיכום המודל.

04איך לבדוק מקור לפני שהוא נכנס לעבודה

במקום לבדוק אם ההפניה נשמעת סבירה, עדיף לעבוד בתהליך קבוע. הוא אינו מבטיח שהמסקנה המדעית נכונה, אבל מאפשר להפריד בין תקלות באיתור, שגיאות בפרטי המקור ובעיות בפרשנות:

1. אתרו את הפרסום בנפרד: חפשו את הכותרת ב-PubMed או באתר כתב העת, בלי להסתפק בתשובת המודל.
2. השוו את פרטי ההפניה: כותרת, מחברים, שנה וכתב עת, וכן DOI אם נמסר.
3. קראו את החלק הרלוונטי: בדקו אם המאמר תומך בטענה המסוימת, ובאילו תנאים והסתייגויות.
4. שמרו את הרשומה המאומתת: השתמשו בה כמקור לפרטי הביבליוגרפיה במקום לבקש מהמודל לשחזר אותם.
5. סמנו מקורות שלא אומתו: השאירו אותם מחוץ לרשימה הסופית עד להשלמת הבדיקה.

בצוות אפשר גם להגדיר מי אחראי לאישור המקורות לפני הגשה או הפצה. כך האחריות אינה נבלעת בין מי שיצר את הטיוטה, מי שערך אותה ומי שהניח שמישהו אחר כבר בדק. זו התאמה פשוטה לתהליך העבודה, בלי להניח שכלי מסוים פותר את הבעיה אוטומטית.

05מה המחקר מאפשר להסיק, ומה עדיין פתוח

התוצאה המרכזית ברורה במסגרת המבחן: אף אחד מהמודלים שנבדקו לא הפגין אמינות ביבליוגרפית מלאה ברמה שמצדיקה ויתור על בדיקה. עם זאת, אין להחיל את האחוזים אוטומטית על תחומי ידע אחרים, על משימות אחרות או על מערכות שמבצעות חיפוש ואימות בתהליך שונה. לשם כך דרושות בדיקות מתאימות.

השלב הבא שכדאי לבחון הוא לא רק איזה מודל מייצר פחות שגיאות, אלא איזה תהליך עבודה מאפשר לזהות אותן לפני שהן נכנסות למסמך מדעי. לקוראים שרוצים לבחון את הבסיס לדיווח, [המאמר המקורי זמין ב-arXiv](https://arxiv.org/abs/2609.14988). עד אז, המסקנה המעשית צנועה אך חשובה: תנו ל-AI לסייע בעבודה על המקורות, לא להחליף את בדיקתם.