קובץ robots.txt |
||
 מאמרים נוספים בנושא:
|
|
|
קובץ robots.txt
המאמר בנושא קובץ robots.txt עוסק בנושאים הבאים: |
| לקוחות נבחרים של SEO ישראל |
| הודעות אחרונות - פורום קידום אתרים |
|
עכשיו בפורומים - 127 נושאים ו- 384 תגובות! נושאים פעילים אחרונים: |
שימו לב: איסור גישה של מנוע חיפוש לדף מסוים אמנם ימנע את איסוף התוכן של הדף, אך לעיתים, אם יש הפניות לאותו דף בדפים בהם מנועי החיפוש כן יכולים להיכנס, אז הדף כן יופיע בתוצאות החיפוש, אך ללא המידע לגביו (כותרת, תיאור וכו'). אם אתם רוצים למנוע את הופעת הדף לחלוטין, יש להשתמש בשיטה השנייה (תג robots).
|
|
מידע נוסף בנושא בעיות בגוגל: |
את הקובץ יש להכין בעורך טקסט רגיל (notepad) ולא בתוכנה אחרת.
על מנת להבין יותר כיצד בנוי קובץ זה, הבה נבדוק דוגמא לקוד:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
אם נסתכל על הקוד, נראה כי קיימים בו שני חלקים:
- User-Agent: חלק זה מגדיר אל מי מופנות ההוראות שיגיעו מיד לאחריו.
- Disallow: לאילו חלקים באתר אנו מעוניינים למנוע גישה ממי שהוגדר בשדה User-Agent.
במקרה שלמעלה, אנו ביקשנו מכל מנועי החיפוש (הסימון לכל מנועי החיפוש ביחד הוא *) להימנע מגישה לספריית cgi-bin ולספריית images.
הבה נבחן דוגמא נוספת לקוד:
User-agent: *
Disallow: /
דוגמא זו תמנע את הגישה של כל מנועי החיפוש אל כל האתר, כלומר מנועי החיפוש לא יסרקו את האתר כלל.
ולסיום נבחן דוגמא מסובכת יותר:
User-agent: googlebot
Disallow: /bonbons/
Disallow: bonbons.htm
User-agent: bonboncrawler
Disallow: /
בדוגמא זו נתנו הוראות לשני רובוטים שונים. רובוט googlebot קיבל הוראה להימנע מגישה אל ספריית bonbons, ואל הקובץ bonbons.htm. ההוראה השניה מתייחסת לרובוט bonboncrawler, עליו אסרנו את הגישה לאתר כליל.
והדוגמא האחרונה:
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
שימו לב כי האיסור הראשון (googlebot) הוא ריק! לכן, בעצם המשמעות היא ש-googlebot יכול לסרוק את כל דפי האתר. האיסור השני מונע מכל הרובוטים מלסרוק את האתר. לכאורה סתירה בין שתי ההוראות, אך למעשה כאשר יש סימן *, הנוגד הוראה יותר ספציפית, אז ההוראה היותר ספציפית מנצחת.
המשמעות של הקוד הקודם היא למעשה - גוגלבוט סורק את כל האתר, כל השאר לא.
מידע למפעילי פורומים
קובץ robots.txt יכול לסייע לכם למנוע מרובוטים לגלוש לחלקים בפורום שלכם שאינם כוללים מידע שימושי. דוגמא לדפים שכדאי למנוע אליהם גישה הוא דפי פרופיל משתמש, דף חיפוש, דף כתיבת הודעה חדשה ודף ההתחברות למערכת. כדי למנוע גישה לדפים אלו, אפשר לבנות קובץ כזה:
User-agent: *
Disallow: /forum/post.asp
Disallow: /forum/user_profile.asp
Disallow: /forum/search.asp
Disallow: /forum/password.asp
האם ליצור קובץ robots.txt גם אם אין בו צורך?
Aug 19, 2011
| לנושא קובץ robots.txt התפרסמו 0 תגובות |
לא התפרסמו תגובות לנושא קובץ robots.txt.
| צור קשר עם SEO ישראל | ||||
|
||||
| מרכז מידע | ||||
|
קידום אתרים ושיווק באינטרנט:  קידום אתרים בניית קישורים שיווק באינטרנט גוגל אדסנס רשימת מאמריםחדשות ועדכונים: בלוג קידום אתרים פורום קידום אתריםמנועי חיפוש: מנועי חיפוש גוגלבניית אתרים: אחסון אתרים רישום דומיין בניית אתריםאודות אס.אי.או ישראל: מיקומים של לקוחותינו המומחים שלנו אודות אס.אי.או ישראל מחירים יצירת קשר שותפים עסקייםמספרים עלינו: לקוחות נבחרים לקוחות ממליצים מן העיתונות |
||||
| טיפטוף טיפים - קידום אתרים | ||||
| הרשמו כאן וקבלו טיפ קידום אתרים חדש כל שלושה ימים אל המייל שלכם: |
| פרטיות / תנאי שימוש |
 |
© כל הזכויות שמורות, 2004-2012, אס.אי.או ישראל טכנולוגיות בע"מ.
אין לעשות שימוש בחומר המופיע בדף זה ללא אישור מראש מבעלי זכויות היוצרים.
הנך נמצא כאן: קובץ robots.txt