robots.txt Generator

Generate a robots.txt file for your website. Control which pages search engines can crawl and index.

User-agent

Use * for all bots, or specify e.g. Googlebot

Common Rules

Allow all (/)Disallow /adminDisallow /privateDisallow /apiDisallow /tmp

Custom Disallow Paths

One path per line

Sitemap URL

Crawl-delay (seconds)

Optional. Not all bots respect this directive.

Generated robots.txt

User-agent: *
Allow: /

Tip: Place this file at the root of your domain as /robots.txt. It must be accessible at https://yourdomain.com/robots.txt.

Was ist robots.txt?

robots.txt ist eine Datei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten indexiert und welche ignoriert werden sollen. Sie ist unverzichtbar für SEO — Sie können Admin-Seiten, doppelte Inhalte und sensible Bereiche vom Crawling ausschließen.