Start › GEO & AEO › KI-Crawler

robots.txt für KI-Crawler: GPTBot, ClaudeBot & Co.

Wenn KI-Systeme deine Seite nicht crawlen können, können sie dich nicht nennen. Deine robots.txt entscheidet, welche KI-Crawler hereindürfen, und eine versehentliche Sperre ist einer der häufigsten Gründe, warum Unternehmen in KI-Antworten unsichtbar sind.

Auf einen Blick

KI-Crawler wie GPTBot, Google-Extended, ClaudeBot, PerplexityBot und CCBot holen Web-Inhalte für KI-Systeme. Deine robots.txt gewährt oder verweigert ihnen Zugang. Um in KI-Antworten zitiert zu werden, erlaube die relevanten; um Inhalte aus KI herauszuhalten, blockiere sie. Der wichtigste Fehler: Crawler zu blockieren, die du eigentlich willst.

Was sind KI-Crawler?

Es sind Bots, mit denen KI-Anbieter das Web lesen, entweder zum Trainieren von Modellen oder zum Holen aktueller Inhalte für Antworten. Jeder meldet sich mit einem User-Agent-Namen, den du in der robots.txt ansprechen kannst.

GPTBot (OpenAI): Trainingsdaten.
OAI-SearchBot (OpenAI): Inhalte für die ChatGPT-Suche.
Google-Extended (Google): steuert die Nutzung für Gemini/KI, getrennt von der normalen Google-Indexierung.
ClaudeBot / anthropic-ai (Anthropic).
PerplexityBot (Perplexity).
CCBot (Common Crawl, Basis vieler KI-Datensätze).

Wie robots.txt sie steuert

Die robots.txt liegt im Root deiner Domain und sagt Crawlern, was sie holen dürfen. Du kannst Regeln pro User-Agent setzen. Seriöse KI-Crawler befolgen sie.

Beispiel: KI-Crawler erlauben, private Bereiche aussparen

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://deinedomain.de/sitemap.xml

Ein Wildcard User-agent: *, das Crawling erlaubt, lässt die KI-Bots bereits herein. Falls du früher pro-Bot Disallow-Regeln für GPTBot & Co. hinzugefügt hast, entferne sie, um in KI-Antworten sichtbar zu werden.

Die Abwägung

KI-Crawler zu blockieren hält deine Inhalte aus Training und Antworten heraus, was manche Anbieter wollen. Wenn dein Ziel aber ist, von KI gefunden und empfohlen zu werden, ist Blockieren kontraproduktiv. Entscheide bewusst, blockiere nicht aus Versehen.

Wie klarava hilft

Der kostenlose Check von klarava prüft, ob die relevanten KI-Crawler auf deiner Seite erlaubt sind, und markiert blockierte, damit du eine versehentliche Sperre in Minuten behebst.

Prüfe, ob KI-Crawler deine Seite erreichen, kostenlos.

Kostenlosen Check starten

Häufige Fragen

Soll ich KI-Crawler zulassen?

Wenn du in KI-Antworten auftauchen willst (ChatGPT, Perplexity, Google AI Overviews), ja. Sie zu blockieren schützt Inhalte vor dem Training, entfernt dich aber auch aus diesen Antworten. Wer Sichtbarkeit will, sollte sie meist zulassen.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

GPTBot ist OpenAIs Crawler für Trainingsdaten; OAI-SearchBot holt Inhalte für ChatGPT-Suchergebnisse. Du kannst sie in der robots.txt unabhängig erlauben oder blockieren.

Garantiert robots.txt das Blockieren?

robots.txt ist eine Direktive, die seriöse Crawler befolgen, keine harte technische Sperre. Echtes Verhindern braucht serverseitige Maßnahmen. Für KI-Sichtbarkeit zählt vor allem: blockiere nicht versehentlich die Crawler, die du willst. Mehr zu GEO & AEO