דפים מן האתר שלי מופיעים בלי כותרת או תוכן
תופעה נפוצה בגוגל היא מצב בו דפים מופיעים בתוצאות החיפוש כאשר במקום כותרת הדף מופיעה הכתובת שלו (URL), לאתר לא מופיע קטע טקסט מתוך האתר, ולא מופיעה הפנייה אל גירסת המטמון של הדף.
תוצאת חיפוש מסוג זה תראה דומה לתוצאה הבאה:
www.seoisrael.co.il/page.htm
דפים דומים
ניתן לשים לב כי בתוצאה זו לא מופיע הקישור אל "מטמון" המופיע בתוצאות רגילות (או cache בתוצאות גוגל באנגלית).
קודם כל, כדי להרגיע את אלו שנכנסים ללחץ ממצב זה, אין מדובר בדרך כלל בעונש שהוטל על האתר על-ידי גוגל. אפילו דפים של גוגל עצמו מופיעים במצב זה (בצעו חיפוש על site:www.google.com כדי להיווכח בעצמכם).
תופעה זו יכולה להיגרם ממספר סיבות, והנה השכיחות שבהן:
- דף חסום לסריקה על-ידי קובץ robots.txt – כאשר קיים דף באינדקס של גוגל בו יש קישור אל דף אחר, אך הדף האחר חסום לסריקה של גוגל על ידי קובץ robots.txt.
- שגיאה בעת נסיון סריקה של דף – בזמן שרובוט הסריקה של גוגל ניסה לקרוא את הדף, הוא קיבל הודעת שגיאה (השרת היה לא פעיל, הדף החזיר הודעת שגיאה, וכו').
- הדף עדיין לא נסרק – לעיתים זוהה קישור אל דף חדש שלא מופיע עדיין באינדקס של גוגל, אך הדף עדיין לא נסרק על-ידי רובוט הסריקה. כאשר נתקלים בבעיה מסוג זה, יש לבדוק האם קובץ robots.txt שלכם תקין והאם אין תג Meta Robots שמונע את הגישה של מנועי החיפוש. אם הכל תקין, אז כל מה שנותר לעשות הוא להמתין לסריקה הבאה של רובוט הסריקה של גוגל, או להשיג קישור נכנס ישירות לעמוד זה.
כפל בין האתר בלי www והאתר עם www
בעיני גוגל, האתר שלכם עם www או בלי www הם שני אתרים שונים (למרות שגוגל מבצע מאמצים רבים לזהות כי בכל זאת מדובר באותו אתר). על מנת למנוע מצב של כפילות תוכן, בו כל דף שלכם מופיע פעמיים (ואז גוגל זורק באופן אקראי את אחד מן הדפים מהאינדקס), יש לוודא כי הדפים ללא www מופנים באופן אוטומטי אל הדפים עם ה-www (או להיפך).
על מנת לבצע את ההפניה ישנן כמה דרכים:
- דרך החברה בה אתם מבצעים את אחסנת האתר.
- באמצעות קובץ htaccess (אם האתר מאוחסן על שרת unix או linux).
- באמצעות שורות קוד אותן מוסיפים לקוד php או aps.
- שימוש בתג Canonical.
האפשרות הראשונה היא הברורה ביותר – לפנות אל ספק השירות שלכם ולבקש ממנו לבצע את ההפניה.
האפשרות השניה דורשת הוספת קוד אל קובץ htaccess של האתר שלכם (יש להחליף את הסוגריים המרובעות לסוגריים מסולסלות):
RewriteEngine On
RewriteCond %[HTTP_HOST] !^www.domain.co.il$
RewriteRule (.*) http://www.domain.co.il/$1 [R=301,L]
האפשרות השלישית היא באמצעות הכנסת קוד אל דפי ה-asp או ה-php שלכם.
דוגמא לקוד ASP:
if lcase(request.servervariables( "HTTP_HOST")) = "domain.co.il" then
Response.Status="301 Moved Permanently"
Response.AddHeader "Location", "http://www.domain.co.il/"
end if
קוד זה מבצע בדיקה האם הדומיין ממנו הגיעה הקריאה הוא domain.co.il, ובמידה והיא כן, אז מבוצעת הפניה קבועה אל www.domain.co.il. את ההפניה יש לבצע לפי כל כתיבה אל הדף, כלומר לפני תגי ה-html וה-head.
בסיום ביצוע ההפניה יש לוודא כי ההפניה אכן בוצעה, וכי היא אכן הפנייה קבועה ולא הפניה זמנית. כמו-כן יש לוודא כי ההפניה לא מפנה את כל דפי האתר אל דף הבית:
דוגמא להפניה לא טובה:
domain.com/page.htm -> www.domain.com
דוגמא להפניה טובה:
domain.com/page.htm -> www.domain.com/page.htm
כלי לבדיקת HTTP header של אתר או דף:View HTTP Request and Response Header
האפשרות הרביעית היא באמצעות שימוש בתג Canonical על מנת להצביע על כתובת אחידה של דף, עם כמה גרסאות. את תג ה-Canonical יש להטמיע ב- של העמוד. לדוגמא, במידה ולעמוד הבית יש כמה כפילויות: www.domain.com/example.html לעומת www.domain.com/example.html?page=1, יש להטמיע את תג ה-Canonical ב- של הדף, כך שיופיע בשתי הכפילויות ויצביע על כתובת אחידה. דוגמא לתוכן תג Canonical:
< link rel="canonical" href="http://www.domain.com/example.html" />
השימוש בתג ה-Canonical אפשרי החל מפברואר 2009, על מנת לסייע במלחמה בתוכן המשוכפל. שימוש לב שכל מנועי החיפוש תומכים בתג זה בצורה מלאה, ומתייחסים אליו כאל הפניות קבועות מסוג 301.
