robots.txt Generator

Generate a robots.txt file for your website. Control which pages search engines can crawl and index.

User-agent

Use * for all bots, or specify e.g. Googlebot

Common Rules

Allow all (/)Disallow /adminDisallow /privateDisallow /apiDisallow /tmp

Custom Disallow Paths

One path per line

Sitemap URL

Crawl-delay (seconds)

Optional. Not all bots respect this directive.

Generated robots.txt

User-agent: *
Allow: /

Tip: Place this file at the root of your domain as /robots.txt. It must be accessible at https://yourdomain.com/robots.txt.

Qu'est-ce que robots.txt ?

robots.txt est un fichier à la racine de votre site web qui indique aux robots d'exploration des moteurs de recherche quelles pages indexer et lesquelles ignorer. Il est essentiel pour le SEO — vous pouvez bloquer les pages d'administration, le contenu dupliqué et les zones sensibles.