So verwenden Sie Robots.txt- & Sitemap-Generator
- 1
Startpunkt wählen
Wählen Sie eine Vorlage wie „KI-Training blockieren, KI-Suche behalten“ oder starten Sie mit „Alles erlauben“ und bearbeiten Sie die Gruppen.
- 2
Gruppen und Regeln hinzufügen
Wählen Sie für jede Gruppe die Crawler aus, von Googlebot bis GPTBot und ClaudeBot. Fügen Sie dann Allow- und Disallow-Pfade sowie die URL Ihrer Sitemap hinzu.
- 3
Echte URLs testen
Öffnen Sie den Tester, fügen Sie eine beliebige URL oder einen Pfad ein und sehen Sie für jeden Crawler, welche Regel entscheidet – mit derselben Longest-Match-Logik wie bei Google.
- 4
Sitemap erstellen
Fügen Sie Ihre URLs ein oder lassen Sie unseren Server Ihre Website crawlen. Laden Sie dann die sitemap.xml herunter – bei mehr als 50.000 URLs als ZIP-Datei mit einem Index.
Limits und Pro
Kostenlos: Crawls mit bis zu 300 Seiten bei 3 parallelen Anfragen, 10 Sekunden pro Seite und 90 Sekunden pro Crawl, 3 Crawls alle 10 Minuten; eingefügte Listen mit bis zu 200.000 URLs; Sitemap-Dateien werden bei 50.000 URLs oder 50 MB geteilt.
Über Robots.txt- & Sitemap-Generator
Dieser Generator deckt die beiden Dateien ab, die Crawlern sagen, was sie abrufen dürfen. Der robots.txt-Builder schreibt Gruppen aus User-agent-Zeilen mit Allow- und Disallow-Regeln, optionalen Crawl-delay-Werten und Sitemap-Zeilen. Die Crawler-Liste enthält Suchmaschinen und die KI-Agenten, nach denen Website-Betreiber am häufigsten fragen: GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot, Claude-SearchBot und Claude-User von Anthropic, PerplexityBot sowie Steuer-Tokens wie Google-Extended und Applebot-Extended. Jeder Eintrag ist als Training, Suche oder nutzerinitiiert gekennzeichnet. Ein Seitenfenster zeigt auf einen Blick, welche Crawler Ihre Startseite abrufen dürfen.
Der Tester wendet RFC 9309 an, den Standard des Robots Exclusion Protocol: Ein Crawler folgt der Gruppe, die ihn nennt, oder der *-Gruppe. Das längste passende Muster gewinnt, bei Gleichstand gewinnt Allow, * steht für beliebige Zeichen und $ markiert das Ende der URL. Er arbeitet mit den Regeln des Builders oder mit jeder robots.txt, die Sie einfügen, und listet Zeilen auf, die Crawler ignorieren.
Der Sitemap-Generator schreibt XML nach sitemaps.org mit maskierten Adressen und optionalen lastmod-Angaben, entfernt Duplikate und teilt große Listen in Dateien mit je 50.000 URLs samt Sitemap-Index auf. Sein Crawler folgt Links auf demselben Host, beachtet robots.txt und noindex und liest lastmod aus den Metadaten der Seite. robots.txt ist eine Empfehlung, an die sich höfliche Crawler halten, keine Zugriffskontrolle: Sie kann Seiten weder vor Menschen noch vor Crawlern verbergen, die sie ignorieren.
Datenschutz
Der robots.txt-Builder, der Tester und Sitemaps aus einer eingefügten Liste laufen vollständig in Ihrem Browser und senden nichts. Nur „Meine Website crawlen“ nutzt unseren Server: Er erhält die Startadresse, ruft Ihre öffentlichen Seiten und die robots.txt ab und streamt die gefundenen URLs an Sie zurück, ohne sie zu speichern.
Funktionen
Für KI-Crawler gerüstet
21 benannte Crawler-Tokens, von Googlebot bis GPTBot, ClaudeBot und PerplexityBot, nach Zweck gekennzeichnet.
Tester nach RFC 9309
Longest-Match-Ergebnisse mit der entscheidenden Zeile für jede URL und jeden Crawler.
Sitemaps, die mitwachsen
Einfügen oder crawlen, lastmod-Angaben, Duplikatentfernung und automatische Indexdateien ab 50.000 URLs.