ב- 30 ביוני  2014 מלאו 20 שנה ל- Robot.txt  – The Robots Exclusion Protocol – קובץ שמאפשר לבעלי אתרים לבקש  מהרובוטים של מנועי חיפוש לא לסרוק חלקים מסוימים מהאתר   . הקובץ נוצר בשנת 1994 וכול מנועי החיפוש הגדולים מאז ועד היום תומכים , מכבדים ומצייתים לו.

באותה עת בה נוצר הקובץ רוחב הפס היה מצומצם יחסית להיום וקרה לא פעם שהרובוטים של מנועי חיפוש צרכו את כול רוחב הפס והאתרים קרסו  כתוצאה מכך. הקובץ נוצר גם  כדי למנוע מצבים כאלה ולאפשר שחרור של רוחב פס למשתמשים.

היום גם אם מנועי חיפוש מכבדים פרוטוקול זה קיימים מצבים שבהם גם דפים שנכללו בקובץ  יכולים להופיע בתוצאות החיפוש של מנועי חיפוש בשל העובדה שהסריקה ויצירת האינדקס הם שני מנגנונים שונים.  קיימים מצבים אחרים נוספים שכדאי להכירם כדי להשתמש נכונה בקובץ שכן שימוש לא נכון עלול לפגוע בקידום האתר.

על מצבים אלה וכיצד להימנע מטעיות נפוצות בשימוש  ב-Robot.txt אפשר לקרוא בכתבה מעניינת מ- 29 ביוני 2014.