robots.txt erstellen und testen

Eingabe

Erstellen Sie Regeln und testen Sie Pfade für eine Bot-Gruppe. Eine Crawlsperre entfernt keine indexierte URL.

Ergebnis

Texte und Dateien werden im Browser verarbeitet. URL-Prüfungen laden die öffentliche Seite auf dem Server.