robots.txt maken en testen

Invoer

Maak regels en test een pad voor een botgroep. Crawlen blokkeren verwijdert geen geïndexeerde URL.

Resultaat

Tekst en bestanden worden in je browser verwerkt. URL-controles halen de openbare pagina op via de server.