תג robots

	מאמרים נוספים בנושא: פורטל וואלה קובץ robots.txt רישום במנועי חיפוש חיפוש מתקדם אינדקס דמוז רובוטי סריקה תג robots הגנה מפני דואר זבל
תג robots המאמר בנושא תג robots עוסק בנושאים הבאים: כמה הבדלים בשימוש בקובץ robots.txt ובמטא תג robots

• noindex: מניעת אינדוקס הדף בבסיסי הנתונים של רובוטי הסריקה:

• nofollow: מניעת אישור לרובוטי הסריקה לעקוב אחר קישורים יוצאים מדף זה. בעצם מטא תג nofollow הופך את כל הקישורים שבדף לקישורי nofollow, זאת לעומת ערך nofollow ברמת הקישור הבודד (rel nofollow) שלא מאפשר מעקב אחר קישור ספציפי אחד בלבד:

• noarchive: מניעה מגרסה שמורה של הדף (cashed copy) מלהופיע בתוצאות החיפוש:

• nosnippet: מניעת הצגת תיאור הדף (המופיע תחת כותרת הדף) בתוצאות החיפוש, כלומר תוכנו של תג meta name descrption או פיסת טקסט הלקוחה מתוך הדף (snippet) או תיאור האתר באינדקס דמוז (Dmoz), לא יוצגו בתיאור הדף בתוצאות החיפוש. שימוש בתג nosnippet מפעיל גם את תג noarchive, כלומר הוספת תג nosnippet גורמת גם למניעת הופעה של העותק השמור של הדף בתוצאות החיפוש:

• noodp: חסימה של כותרת הדף והתיאור שלו באינדקס דמוז (Dmoz: Open Directory Project) מלהופיע בפרטי הדף בתוצאות החיפוש:

• all: התרה של כל כל הערכים האפשריים, כלומר: index, follow, archive וכו':

• none: מניעת כל הערכים, כלומר: noindex, nofollow, noarchive וכו':

מטא תג robots יכול להכיל כמה ערכים מופרדים בנקודה-פסיק, ובהחלט מומלץ לקבץ כמה ערכים בתג אחד כדי לשפר את קריאת הנתונים ולמנוע הוראות סותרות. למשל:

דרך אגב, אם רובוטי סריקה אמנם ייתקלו בהוראה סותרת, למשל:

הם יכריעו לחומרה, כלומר יתייחסו להוראה כאל noindex, nofollow.

כבררת מחדל רובוטי סריקה מאנדקסים דפי אינטרנט ועוקבים אחר הקישורים היוצאים מהם (הרי זה בדיוק יעודם...) ולכן אין צורך להוסיף תג robots שהערכים שלו הם: index או follow וכו'.

כדי להנחות את כלל רובוטי הסריקה להימנע מפעולה מסוימת בדף, נציב את הערך הכולל 'robots' באטריבוט 'meta name' של התג, אולם כדי להורות רק למנוע חיפוש מסוים להימנע מכך (למשל מנוע החיפוש הראשי של גוגל, ה-Goolebot), נגדיר את התג כך:

מתי כדאי להימנע מאינדוקס של דפים? למשל דפים המכילים תוכן אינטימי, דפים הדורשים הרשאה, דפי כניסה למערכת ניהול ודפי תוכן כפולים.

דרך אגב, תג robots אינו case-sensitive, כלומר אפשר לכתוב את הערכים השונים שלו כך: noindex, או כך: NOINDEX ואף כך: Noindex.

ההבדל מבחינת רובוטי הסריקה בין הוראות קובץ robots.txt ובין הוראות מטא תג robots הוא זה: אם דף נחסם לסריקה על ידי קובץ robots.txt, רובוטי סריקה לא יגיעו אליו, ומן הסתם לא יקראו את תגי המטא שלו. לעומת זאת, אם הדף מותר לסריקה בקובץ robots.txt, אבל נחסם למשל לאינדוקס בתג המטא, רובוטי הסריקה יגיעו לדף, יקראו את תג המטא אך לא יאנדקסו אותו.

כמה הבדלים בשימוש בקובץ robots.txt ובמטא תג robots

• מניעת סריקה: קובץ robots.txt ימנע סריקה ואילו מטא תג robots לא ימנע אותה.

• מניעת אינדוקס: קובץ robots.txt ומטא תג robots ימנעו אינדוקס.

• מניעת רישום קישורים: קובץ robots.txt לא ימנע רישום, ואילו מטא תג robots יסיר את הקישור ממפת הקישורים, לפחות של גוגל.

• הבדלים בשימוש: בקובץ robots.txt נשתמש בעיקר אם רוצים למנוע גישה לספרייה שלמה, ואילו במטא תג robots נשתמש אם אין גישה לספרייה הראשית של האתר וכן אם רוצים למנוע אינדוקס של דף מסוים או מעקב אחר קישורים מדף זה בלבד.

לא התפרסמו תגובות לנושא תג robots.

פרסם/י תגובה

שם
אתר
דוא"ל
נושא / כותרת
תוכן

© כל הזכויות שמורות, 2004-2012, אס.אי.או ישראל טכנולוגיות בע"מ.
אין לעשות שימוש בחומר המופיע בדף זה ללא אישור מראש מבעלי זכויות היוצרים.
הנך נמצא כאן: תג robots