Robots.txt

Im sogenannten Robtos-Exklsuive-Standard Protokoll wurde festgelegt, wie Suchmaschinen Robots mithilfe der Datei robots.txt, welche sich im Root Verzeichnis Ihrer Website befindet eine Website indexiert. Mittels dieser Datei sagt man Suchmaschinen, welche kompletten Verzeichnisse nicht indexiert werden dürfen, besonders interessant ist dies bei CMS Systemen, die normalerweise zahlreiche Verzeichnisse haben, die nicht indexiert werden dürfen, wie beispielsweise Verzeichnisse, die für die Funktion des Systems verantwortlich sind. In unserem Agentur Umfeld nutzen wir robots.txt Dateien um beispielsweise Suchmaschinen zu sagen, welche Inhalte explizit nicht erfasst werden sollen.

Aufgepasst eine robots.txt Datei ist kein Verbotsschild, sondern nur ein Hinweis. Ob sich Suchmaschinen daran halten, bleibt ihnen überlassen. Mittels robots.txt sollten niemals Verzeichnisse geschützt werden, die kein User sehen sollte. Nutzen Sie hierfür bitte andere technischen Möglichkeiten wie z.B. ein htaccess Passwort oder ähnliche Schutzmechanismen.