אחד האירועים המעניינים בתחום קידום האתרים הינו נפילתו וחזרתו מחדש של אתר alljobs בשבוע שעבר. בפוסט זה אנסה להציג את דעתי בנוגע לאירוע, לגרומים לו, לדרך הפתרון שלו, ולמסקנות בעקבות האירוע.
בתאריך 11 בדצמבר נעלמו כל דפי האתר מן האינדקס של גוגל, בצורה המרמזת על ענישה של גוגל כלפי האתר. בעקבות העלמות האתר נשטפה הרשת בגל של שמועות בנוגע לשיטות קידום אתרים לא חוקיות שהופעלו על ידי חברות קידום האתרים המקדמות את האתר, עד כדי תאוריות קונספירציה הטוענות כי העלמות האתר הינה תוצאה של פעולה של מקדמי Black Hat כנגד האתר.
מן הצד השני הגיעו תגובות של החברות המקדמות את אתר alljobs, המדברות על בעיה טכנית של תוכן משוכפל שגרמה לפגיעה באתר, ולאחר טיפול בבעיה חזר האתר אל האינדקס של גוגל בצורה מלאה.
באופן כללי ניתן לומר כי לאתרים גדולים וחזקים לא אמורה להיווצר בעיה של תוכן משוכפל שתגרום להם להעלם מן האינדקס. אחרי הכל, בעל אתר לא יכול לשלוט בגורמים חיצוניים המעתיקים את האתר שלו בכדי לגרום לאתר נזק. הנזקים שנגרמים לאתרים בשל תוכן משוכפל הינם בדרך כלל נזקים לדפים מסויימים בתוך האתר, וגם אז דפים אלו בדרך כלל לא נעלמים לגמרי, אלא מוסרים מן התוצאות הנראות (ניתן עדיין לראות אותם כאשר הגולש בוחר באופציה של "לחזור על החיפוש עם התוצאות שהוסרו" בתוצאות החיפוש).
על מנת שאתר חזק שלם פשוט יעלם מתוצאות החיפוש בשל תוכן משוכפל, נדרש אירוע התנגשות מאסיבי בין שני האתרים, ולפי דעתי זהו האירוע שאירע לאתר alljobs.
על פי הבדיקות שביצעתי ניתן להצביע על האפשרות כי האתר שגרם לכל האירוע הינו שיכפול של אתר alljobs המופיע תחת אתר yad2 בכתובתalljobs.yad2.co.il. מאחר ומדובר באתר הנהנה מכוחו של דומיין yad2, אז בהחלט יתכן כי במידה והוא מאונדקס באינדקס של גוגל במקביל לאתר alljobs, וכאשר לשני האתרים יש תוכן זהה, אז עשוייה להיווצר אותה התנגשות שתגרום להעלמות האתר.
ניתן לראות כי באתר המדובר נמצא כרגע קובץ robots.txt הכולל את השורות הבאות:
User-agent: *
Disallow /
מטרתן של שורות אלו היא למנוע ממנועי החיפוש לסרוק את האתר לחלוטין, מה שאמור למנוע את התנגשותו עם אתר המראה שלו. אם בודקים את תאריך השינוי האחרון של קובץ זה, ניתן לראות כי הוא מוגדר כרגע בתור Tue, 11 Dec 2007 21:14:10 GMT, כלומר ב-11 בדצמבר 2007 – הוא יום העלמות אתר alljobs מתוצאות החיפוש.
האם הקובץ היה קיים לפני הנפילה? אין בידי אפשרות לדעת זאת, אך לפי הנתונים שהצגתי קיימת אפשרות כי זה הקובץ נוסף ברגע שזוהתה ההתנגשות בין האתרים.
בכל מקרה, ניתן ללמוד מן המקרה הזה הרבה מאד. הנקודה העיקרית אותה כדאי לזכור היא שסינדיקציה (איפשור לגורמים אחרים להשתמש בתכנים שלכם) יכולה להיות טובה (היא יכולה להביא לאתר תנועה), אך יכולה גם להיות בעייתית (היא יכולה לגרום לאתר שלך להעלם). הנושא משמעותי ביותר כאשר מדובר בגורם גדול וחזק המעוניין להכניס את התכנים שלך אל האתר שלו.
