חברת Cloudflare הודיעה לאחרונה על עדכון משמעותי במערכת ניהול הבוטים שלה, שייכנס לתוקף ב-15 בספטמבר 2026. העדכון החדש מציע רזולוציית שליטה גבוהה יותר על תעבורת בינה מלאכותית, אך הוא טומן בחובו מוקש קריטי לאנשי SEO ומנהלי אתרים: הגדרות ברירת המחדל החדשות, או חסימה גורפת של בוטי "אימון" (Training), עלולות להוביל לחסימה מלאה ולא מכוונת של סורקים רב-תכליתיים כמו Googlebot ו-BingBot.
למעשה, חסימות שגויות של סורקי מנועי חיפוש ב-Cloudflare קרו גם בעבר, אך העדכון הנוכחי הופך את הסכנה לממשית מתמיד עבור מי שלא יוודא שהגדרות האבטחה שלו מוגדרות כראוי.
מה היה בעבר?
עד היום, Cloudflare הציעה פתרון יחסית בינארי תחת כפתור ייעודי של "Block AI bots". הכלי הזה נועד במקור לחסום בוטים חד-ממדיים שסרקו אתרי אינטרנט אך ורק לצורך קצירת דאטה (Scraping) ואימון מודלים של שפה (LLMs), מבלי לספק שום ערך מוסף לאתר, כגון הפניית טראפיק.
החידוש של Cloudflare מספטמבר 2026: מלכודת הבוטים הרב-תכליתיים
החל מאמצע ספטמבר, Cloudflare זונחת את הגישה הגורפת ועוברת למודל מרובע הכולל שליטה נפרדת על שלושה סוגי בוטים:
- חיפוש (Search): בוטים קלאסיים שמטרתם להפנות מבקרים לאתר (מורשים כברירת מחדל).
- סוכנים (Agent): בוטים המבצעים משימות בשם משתמשים (ייחסמו כברירת מחדל בדומיינים חדשים המציגים פרסומות).
- אימון (Training): סורקים השואבים נתונים לאימון מודלים (ייחסמו כברירת מחדל בדומיינים חדשים המציגים פרסומות).
כאן טמונה הבעיה מבחינת SEO: המציאות הטכנולוגית כיום מורכבת, ובוטים מרכזיים כמו Googlebot, Applebot ו-BingBot הם סורקים רב-תכליתיים – הם סורקים גם עבור מנוע החיפוש המסורתי וגם שואבים נתונים לאימון המודלים של החברות (כמו Gemini ו-Copilot).
על פי המדיניות החדשה של Cloudflare, סורקים רב-תכליתיים אלו ייבחנו לפי הכלל המחמיר ביותר. המשמעות היא שאם הגדרתם לחסום "Training bots" – או אם המערכת חסמה אותם עבורכם כברירת מחדל (Default) – האתר שלכם ייחסם לחלוטין בפני Googlebot ו-Bingbot, גם עבור פונקציונליות החיפוש הרגילה שלהם.
ההשפעה על סריקה, אינדוקס ו-GEO
מבחינת סריקה וקריאה של האתר, המשמעויות רחבות ומשפיעות על שני מישורים עיקריים:
SEO קלאסי: חסימה ברמת ה-CDN/DNS מונעת מהבוט להגיע לשרת ולרנדר את ה-DOM (קוד האתר). התוצאה הישירה היא פגיעה בתקציב הזחילה (Crawl Budget) ובאינדוקס האתר.
GEO (Generative Engine Optimization): בעידן שבו אנו פועלים להנגיש את התוכן שלנו למנועי תשובות מבוססי בינה מלאכותית (כמו ChatGPT או Perplexity), חסימה לא מבוקרת של בוטי סוכנים (Agents) ובוטי אימון (Training) עלולה להיות גול עצמי. חסימה כזו תעלים את המותג שלכם ממערכות AI ששואבות מידע חי ועדכני מהרשת בזמן אמת כדי לבסס את התשובות שלהן (טכנולוגיה המכונה RAG). יכולת הסינון החדשה והממוקדת שקלאודפלייר מציעה, דורשת מאיתנו לקבל החלטה אסטרטגית: לאילו בוטים של AI אנו מוכנים לאפשר גישה לאתר, כדי להבטיח שהתוכן שלנו ימשיך להופיע ולבלוט בפלטפורמות החדשות הללו.
Action Items: מה עליכם לעשות כעת?
לקראת ה-15 בספטמבר, חובה לוודא שהנכסים הדיגיטליים שלכם מוגנים מחסימה לא מכוונת:
איך לדעת אם האתר יושב על Cloudflare?
אם אינכם בטוחים, ניתן לבדוק זאת בקלות על ידי בדיקת ה-Name Servers של הדומיין (בכלי Whois חינמיים) או בבחינת ה-HTTP Headers של השרת באמצעות כלי מפתחים בדפדפן (חפשו ערכים כמו
Server: cloudflare).בדיקת ההגדרות (לבעלי גישה ל-Cloudflare): היכנסו לאזור ההגדרות (Security) ונווטו לאפשרויות ה-Bot Management החדשות. ודאו במפורש שאתם מבצעים Opt-out מברירות המחדל המחמירות עבור סורקי אימון (Training) שסורקים גם למטרות חיפוש, כדי למנוע את חסימת Googlebot ו-BingBot.
פנייה לגורם הטכני:
ההמלצה שלנו למי שלא מנהל את תשתיות השרת בעצמו – פנו בהקדם האפשרי למפתח האתר או לחברת האחסון שלכם. בקשו מהם לוודא שהגדרות ה-AI Traffic החדשות ב-Cloudflare לא חוסמות (גם לא כברירת מחדל) בוטים של חיפוש או בוטים רב-תכליתיים שעליהם אתם מסתמכים.
ניטור רציף ב-Google Search Console:
כאינדיקציה נוספת, מומלץ לעקוב מקרוב אחר דוח "תדירות הסריקה" (Crawl Stats) ב-GSC במהלך חודש ספטמבר. צניחה חדה בבקשות הסריקה או עלייה בשגיאות 403/5xx עלולות להעיד על חסימת הבוט ברמת ה-Cloudflare.
ההמלצה שלנו: אל תשאירו את אסטרטגיית הסריקה שלכם לברירות המחדל של מערכות חיצוניות. ודאו שהזמינות של האתר שלכם תואמת את מטרות ה-SEO שלכם, הן בחיפוש המסורתי והן במנועי ה-AI החדשים.
