Dateien richtig eingesetzt

DATEIEN RICHTIG EINGESETZT! Eine robots.txt-Datei teilt Suchmaschinen mit, ob sie auf bestimmte Teile einer Website zugreifen und sie in der Folge crawlen dürfen. Diese Datei muss den Namen “robots.txt” tragen und sich im Hauptverzeichnis…