Générateur de robots.txt
Composez des règles d’exploration et téléchargez votre fichier.
User-agent: * Disallow:
Le fichier indique aux robots quelles adresses explorer. Publiez-le à la racine du domaine, à l’adresse /robots.txt.
Vérifiez les règles d’exploration de votre site
Un audit technique permet de revoir votre fichier robots.txt, votre sitemap et l’accès à vos pages importantes.