Cloudflare: איך לבקש שלא לאמן AI על התוכן בלי לחסום חיפוש
מדריך להגדרת Disallow AI Training ב־Cloudflare ולבדיקת robots.txt: איך להודיע שהתוכן אסור לאימון AI, בלי לחסום סריקה לצורכי חיפוש.
בעלי אתרים שרוצים להישאר בתוצאות החיפוש, אבל לא להתיר אימון AI על התוכן שלהם, צריכים להפריד בין שתי החלטות שונות: מי רשאי לסרוק את האתר, ולשם מה מותר להשתמש בתוכן. ב־15 בספטמבר 2026 הכריזה Cloudflare על Disallow AI Training, הגדרה שנועדה לאפשר את ההפרדה הזאת גם מול סורקים בעלי שימוש כפול. כך בוחרים מדיניות, בודקים שאינה מתנגשת בהגדרות קיימות ומוודאים שלא חוסמים בטעות את הגישה לחיפוש.
1. מבינים מה ההגדרה עושה, ומה היא לא
סורק בעל שימוש כפול יכול לאסוף תוכן לצורכי חיפוש וגם לצורכי אימון. חסימה גורפת שלו עלולה למנוע גם את הגישה שאתם דווקא רוצים להשאיר פתוחה. Disallow AI Training נועדה להודיע שאין להשתמש בתוכן לאימון, תוך השארת האפשרות לאינדוקס בחיפוש. ההבחנה החשובה אינה רק בין חברות שונות, אלא בין שימושים שונים באותו תוכן.
הכרזת Cloudflare כוללת יכולות קיימות והתחייבויות עתידיות מצד Apple, Google ו־Microsoft. לכן אין לקרוא אותה כאילו כל מנגנון כבר פועל אצל כל חברה ובאותה צורה. לפני שינוי באתר מסחרי, בדקו בהכרזה הרשמית מה מתואר כיכולת קיימת ומה כהתחייבות להמשך. עצם בחירת המדיניות אצלכם אינה הוכחה שכל גורם כבר מיישם אותה.
אפשר להתיר לסרוק עמוד לצורך חיפוש, בלי להתיר להשתמש בו לאימון. זו מדיניות שימוש, לא הבטחה לחסימה טכנית.
Disallow AI Training אינה הבטחה להגנה מכל שימוש ב־AI. אין להסיק ממנה שהיא מונעת הצגת תוכן בתשובות AI, מבטלת שימוש שנעשה בעבר או מגינה על מידע פרטי. מידע שאינו מיועד לציבור צריך להיות מוגן באמצעות הרשאות גישה, לא רק באמצעות הנחיות לסורקים.
2. מתעדים את המצב לפני שנוגעים בהגדרות
התחילו מהאתר ומהדומיין שעליהם אתם מתכוונים להחיל את המדיניות. ודאו שיש לכם הרשאה מתאימה לניהול ההגדרות בחשבון Cloudflare, ותעדו את המצב הקיים בצילום מסך או במסמך עבודה. אם סוכנות דיגיטל מנהלת עבורכם את האתר, תאמו איתה את השינוי מראש: מי שמנהל את התוכן אינו בהכרח מי שמנהל את התשתית.
- פתחו את הנתיב /robots.txt בדומיין הציבורי ושמרו עותק של התוכן המוצג.
- רשמו אילו חסימות סורקים וכללי אבטחה כבר מוגדרים ב־Cloudflare ובאתר עצמו.
- בחרו עמודים ציבוריים לבדיקה, למשל עמוד הבית, כתבה ועמוד מוצר.
- בדקו אם תוסף SEO, מערכת ניהול התוכן או ספק האחסון מנהלים גם הם את robots.txt.
- נסחו את המטרה במפורש: לאפשר חיפוש, לא להתיר אימון, ולהשאיר חסימות אבטחה נחוצות ללא שינוי.
באתר ישראלי עם גרסאות בעברית ובאנגלית, או עם חנות ותוכן על תתי־דומיינים שונים, אל תסתפקו בבדיקת עמוד הבית. עברו על כל נכס רלוונטי בנפרד. מדיניות שתועדה עבור אתר התוכן אינה הוכחה שהחנות מקבלת אותו טיפול, ובדיקה בגרסה העברית אינה תחליף לבדיקה בגרסה האנגלית.
3. בוחרים מדיניות אי־אימון, לא חסימה גורפת
בחשבון Cloudflare של האתר הרלוונטי, חפשו את הגדרת Disallow AI Training ובדקו את התיאור שמופיע לצדה לפני האישור. מטרת הפעולה היא לבחור מדיניות שאינה מתירה אימון, תוך שמירת הגישה הדרושה לחיפוש. אל תחליפו אותה אוטומטית באפשרות שחוסמת סורקים: אלה פעולות שונות, עם השלכות שונות על האתר.
אם אינכם מוצאים את ההגדרה, אל תנחשו שאפשרות בעלת שם דומה היא תחליף. בדקו את ההנחיות הרשמיות ואת זמינות האפשרות בחשבון שלכם, ובמידת הצורך פנו לתמיכה. ההכרזה לבדה אינה בסיס להמצאת נתיב תפריטים או תחביר חדש ב־robots.txt. בפרט, לא כדאי להדביק שורת הגדרה ממקור לא מאומת רק משום שמופיעות בה המילים AI או training.
בצעו שינוי ממוקד ותעדו מתי נעשה ומה נבחר. אל תשנו באותו מהלך גם את כללי חומת האש, את תוסף ה־SEO ואת מבנה האתר. אם תתגלה בעיית סריקה, שינוי ממוקד יקל לזהות את הגורם ולחזור למצב הקודם. ההגדרה החדשה גם אינה סיבה להסיר חסימה קיימת שנועדה להתמודד עם תעבורה מזיקה.
4. בודקים את robots.txt ואת הגישה לחיפוש
לאחר השמירה, פתחו שוב את /robots.txt בדומיין הציבורי והשוו לעותק ששמרתם. בדקו את הקובץ שמוגש לגולשים ולסורקים, לא רק את הטקסט שמופיע בעורך של מערכת התוכן. חפשו הוראות סותרות או חסימות רחבות שלא התכוונתם להוסיף. אם אין שינוי בקובץ, אין בכך לבדו הוכחה שהבחירה נכשלה: צריך לבדוק כיצד Cloudflare מתארת את מנגנון המדיניות.
לבדיקה טכנית פשוטה אפשר לשלוף את הקובץ גם משורת הפקודה. החליפו את כתובת הדוגמה בדומיין שלכם; הפקודה מציגה את התוכן הציבורי בלבד ואינה משנה הגדרות.
curl -L https://example.com/robots.txtכעת בדקו את העמודים שבחרתם בכלי מנהלי האתרים של מנוע החיפוש, למשל באמצעות בדיקת כתובת ב־Google Search Console. המטרה היא לברר אם הגישה לסריקה נשמרה, לא להוכיח שאין שימוש לאימון. אם יש לכם גישה ליומני בקשות או לאירועי אבטחה, בדקו גם אם הופיעו חסימות חדשות. פתיחת עמוד בדפדפן רגיל אינה מספיקה כדי לקבוע שסורק חיפוש יכול לגשת אליו.
5. הופכים את הבחירה לנוהל קבוע בעסק
עבור מו״ל, חנות או אתר מקצועי בישראל, ההחלטה משלבת שני אינטרסים: חשיפה בחיפוש ושליטה בשימוש בתוכן שהעסק מממן. לכן כדאי שבעל התוכן ואחראי התשתיות יאשרו יחד את המדיניות. במסמך העבודה רשמו מי ביצע את השינוי, אילו עמודים נבדקו ואיך חוזרים להגדרות הקודמות אם מתגלה תקלה.
חזרו על הבדיקה לאחר החלפת תוסף SEO, מעבר אחסון או שינוי בהגדרות הסורקים. עקבו גם אחר מימוש ההתחייבויות העתידיות המוזכרות בהכרזה, בלי להניח שהן כבר בתוקף. מדד ההצלחה המעשי הוא מדיניות אי־אימון שנבחרה ותועדה, לצד בדיקה שלא נוספה חסימת חיפוש לא רצויה. זו אינה הוכחה שאיש לא יאמן על התוכן, אלא דרך מסודרת לבטא את הבחירה שלכם ולצמצם טעויות תפעוליות.
שאלות נפוצות
האם Disallow AI Training של Cloudflare חוסם את האתר בגוגל?
ההגדרה נועדה לאפשר אינדוקס לחיפוש ובמקביל להודיע לסורקים בעלי שימוש כפול שלא להשתמש בתוכן לאימון. חסימות אחרות ב־robots.txt או בכללי האבטחה עדיין עלולות לפגוע בגישה, ולכן צריך לבדוק אותן בנפרד.
האם אפשר למנוע לחלוטין אימון AI על תוכני האתר?
הגדרת מדיניות אי־אימון אינה מבטיחה שכל סורק יכבד אותה, ואינה שקולה לחסימה טכנית. יש להפריד בין הצהרת השימוש המותר לבין אכיפת הגישה, ולא להסתמך על ההגדרה להגנה על מידע פרטי.
איך בודקים את robots.txt אחרי שינוי ב־Cloudflare?
פותחים את הנתיב /robots.txt בדומיין הציבורי ובודקים את התוכן שמוגש בפועל, לצד הגדרות Cloudflare ומערכת ניהול התוכן. לאחר מכן בודקים בכלי מנהלי האתרים של מנוע החיפוש אם עמודים חשובים עדיין נגישים לסריקה; צפייה בקובץ לבדה אינה מוכיחה שהמדיניות נאכפת.
דרגו את הכתבה
הדירוג עוזר לנו לדעת מה שווה לכם.
תגובות