# Blockiert meine Website GPTBot, ClaudeBot und PerplexityBot? > Ob KI-Crawler Ihre Website erreichen, entscheiden robots.txt, CDN und Firewall. So prüfen Sie GPTBot, ClaudeBot und PerplexityBot einzeln und vermeiden die Präfix-Falle. Published: 2026-10-22 · Updated: 2026-10-23 Source: https://www.itgrows.ai/business/blog/blockiert-meine-website-ki-crawler Publisher: ItGrows (https://www.itgrows.ai/business) — AI visibility for businesses --- Möglicherweise ja, und zwar an einer von drei Stellen: in der robots.txt, in Ihrem CDN oder Ihrer Firewall oder auf dem Server selbst. Sicher wissen Sie es erst, wenn Sie jeden Crawler einzeln testen und in Ihre Server-Logs schauen, denn eine harmlos aussehende Regel sperrt oft mehr, als beabsichtigt war. Wir messen jede Woche, welche Seiten KI-Assistenten finden und zitieren, und sind dabei selbst in die häufigste Falle getappt. Im Folgenden die Prüfung in der Reihenfolge, in der wir sie heute durchführen. ## Welche KI-Crawler sollten Sie kennen? Der Name eines Bots verrät nicht automatisch, wofür er kommt. OpenAI trennt ausdrücklich zwischen GPTBot, der Inhalte für das Training sammelt, und OAI-SearchBot, der für die Suche in ChatGPT zuständig ist. Laut der [Übersicht der OpenAI-Crawler](https://developers.openai.com/api/docs/bots) können Sie OAI-SearchBot erlauben und GPTBot trotzdem sperren. Dazu kommt ChatGPT-User, der eine Seite abruft, wenn ein Mensch im Chat danach fragt. OpenAI beschreibt ihn inzwischen als nutzerinitiierten Agenten, für den robots.txt-Regeln [„möglicherweise nicht gelten“](https://ppc.land/openai-revises-chatgpt-crawler-documentation-with-significant-policy-changes/). | Crawler | Betreiber | Wofür er kommt | Verhältnis zur robots.txt | | --- | --- | --- | --- | | GPTBot | OpenAI | Inhalte für das Training von Modellen | Sperrbar per robots.txt | | OAI-SearchBot | OpenAI | Suche und Quellen in ChatGPT | Sperrbar, getrennt von GPTBot | | ChatGPT-User | OpenAI | Abruf, während ein Mensch fragt | Regeln gelten laut OpenAI womöglich nicht | | ClaudeBot | Anthropic | Crawling von Webinhalten | Wird häufig als Training-Opt-out gesperrt | | PerplexityBot | Perplexity | Index für Perplexity-Antworten | Sperre schützte nachweislich nicht vor jedem Zugriff | | Perplexity-User | Perplexity | Abruf während einer laufenden Antwort | Live-Abruf, nicht klassisches Crawling | Wie viel Verkehr diese Bots erzeugen, zeigen die vollständigen nginx-Logs einer Bildungsplattform, mit der wir arbeiten (pickaclass.com): Vom 28. Juli bis 11. August 2026 zählten wir 19.272.125 Anfragen von ClaudeBot, 2.744.985 von GPTBot und zum Vergleich 52.292 von Googlebot. Wer KI-Crawler aussperrt, sperrt also keine Randerscheinung aus. ## Wie lese ich meine robots.txt richtig? Öffnen Sie `https://ihre-domain.de/robots.txt` im Browser. Die Regeln dafür sind in [RFC 9309](https://www.rfc-editor.org/info/rfc9309/) festgelegt, und drei davon führen in der Praxis zu den meisten Überraschungen: - **Gruppen schließen sich aus.** Ein Crawler folgt der Gruppe, die seinen Namen trägt. Nur wenn es keine gibt, gilt `User-agent: *`. Haben Sie eine eigene Gruppe für GPTBot angelegt, gelten die allgemeinen Regeln für ihn nicht mehr. Umgekehrt trifft ein `Disallow: /` unter `*` jeden KI-Bot, der keine eigene Gruppe hat. - **Regeln sind Präfixe.** `Disallow: /b` sperrt jede URL, die mit /b beginnt. Das Zeichen `$` markiert das Ende einer URL, `*` steht für beliebige Zeichen. - **Die längste passende Regel gewinnt.** Stehen `Allow` und `Disallow` gegeneinander, entscheidet die spezifischere Regel. Ein vierter Punkt wird gern übersehen: Liefert die robots.txt einen Serverfehler (5xx), müssen Crawler laut RFC 9309 davon ausgehen, dass die gesamte Website gesperrt ist. Eine instabile robots.txt kann also wirken wie ein komplettes Verbot. ### Die Präfix-Falle, in die wir selbst getappt sind Auf itgrows.ai wollten wir eine einzelne Weiterleitungsseite verbergen: /b. Die Regel war als Präfix geschrieben. Vom 11. August bis 21. Oktober 2026 sperrte sie dadurch auch /blog, /business und jeden Artikel unseres Business-Blogs für alle Crawler. Bing Webmaster Tools führte unsere Business-Seite seit dem 11. August 2026 als „entdeckt, aber nicht gecrawlt“, und Google hatte keine einzige der Business-Seiten im Index. Am 21. Oktober 2026 haben wir die Regel auf `/b$` geändert. ``` # falsch: sperrt /b, /blog, /business, /beratung ... Disallow: /b # richtig: sperrt nur genau /b Disallow: /b$ ``` Gehen Sie deshalb jede `Disallow`-Zeile durch und fragen Sie: Welche meiner URLs beginnen mit genau dieser Zeichenfolge? Kurze Pfade wie /p, /de oder /shop sind typische Kandidaten. Wie Sie solche Fehler in Bing früh erkennen, beschreiben wir in [Warum zählen Bing Webmaster Tools und IndexNow für ChatGPT?](https://www.itgrows.ai/business/blog/bing-webmaster-tools-indexnow-chatgpt). ## Was ist, wenn CDN oder Firewall die Bots abweisen? RFC 9309 stellt ausdrücklich klar, dass robots.txt keine Zugriffskontrolle ist. Sie ist eine Bitte an den Crawler. Die eigentliche Tür ist Ihr CDN, Ihre Web Application Firewall oder der Bot-Schutz Ihres Hosters. Daraus ergeben sich zwei Richtungen. **Die robots.txt ist offen, aber die Firewall blockt.** Das passiert häufiger, als man denkt: eine Regel gegen „verdächtige Bots“, eine JavaScript-Challenge oder ein CAPTCHA, das kein Crawler lösen kann, Ratenbegrenzung, Länder-Sperren oder ein Schalter im CDN-Dashboard, der KI-Bots pauschal abweist. Die Symptome im Log sind Statuscodes 403 oder 429 oder ein 200, hinter dem statt Ihres Inhalts eine Challenge-Seite steckt. Oft hat eine Agentur oder die IT-Abteilung so etwas vor Jahren eingerichtet, und niemand erinnert sich daran. Prüfen Sie daher die Sicherheitseinstellungen Ihres CDN, nicht nur die robots.txt. **Sie wollen sperren, aber die robots.txt reicht nicht.** Im Juni 2024 dokumentierte der Entwickler Robb Knight, dass Perplexity Seiten abrief, obwohl PerplexityBot in der robots.txt ausgeschlossen war ([Zusammenfassung hier](https://sunilpratapsingh.com/guides/geo/what-is-perplexitybot)). Und für ChatGPT-User gilt die robots.txt laut OpenAI womöglich nicht. Wer einen Zugriff wirklich verhindern will, muss das auf Netzwerkebene tun. ## Wie teste ich jeden Crawler einzeln? **Schritt 1: robots.txt pro Bot durchgehen.** Notieren Sie für GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot, welche Gruppe für sie gilt und ob Ihre wichtigsten Seiten (Startseite, Leistungsseiten, Blog) erlaubt sind. **Schritt 2: Abruf mit dem User-Agent simulieren.** Mit curl sehen Sie, was Ihr Server einem Bot mit diesem Namen antwortet: `curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://ihre-domain.de/blog/artikel` Wiederholen Sie das für OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot und Perplexity-User. Lassen Sie sich bei einem 200 auch den Inhalt ausgeben und prüfen Sie, ob Ihr Text drinsteht oder eine Challenge-Seite. Eine Einschränkung: Viele Firewalls prüfen zusätzlich die IP-Adressen der Betreiber. Ihr Test vom eigenen Rechner zeigt deshalb nur die Regeln, die am User-Agent hängen. **Schritt 3: Server-Logs auswerten.** Das ist der einzige Test, der echte Bots zeigt: `grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Perplexity-User" access.log | awk '{print $9}' | sort | uniq -c` So sehen Sie, welche Statuscodes die Bots bekommen. Zur Einordnung: Live-Abrufe durch ChatGPT-User, OAI-SearchBot und Perplexity-User, also Abrufe während ein Assistent einem echten Menschen antwortet, zählten wir in zwei Wochen 1.918-mal auf den Inhaltsseiten der Bildungsplattform. Ein Kunden-Blog mit einigen Dutzend Artikeln bekam im selben Zeitraum 56 solcher Abrufe auf 24 verschiedene Artikel. Taucht keiner dieser Agenten über Wochen auf, lohnt sich ein genauer Blick auf CDN und Firewall. **Schritt 4: Indexierung prüfen.** In Bing Webmaster Tools und der Google Search Console sehen Sie, ob Seiten als gesperrt oder als „entdeckt, aber nicht gecrawlt“ geführt werden. **Schritt 5: Die Assistenten selbst fragen.** Bitten Sie ChatGPT, Claude oder Perplexity, einen Artikel anhand seines exakten Titels zu finden. Wie Sie das systematisch angehen, steht in [Wie prüfe ich, ob ChatGPT und andere KI mein Unternehmen nennen?](https://www.itgrows.ai/business/blog/pruefen-ob-chatgpt-mein-unternehmen-kennt). ## Sollte ich KI-Crawler überhaupt zulassen? Das hängt davon ab, was Sie schützen und was Sie erreichen wollen. Die sinnvolle Trennlinie verläuft zwischen Training und Suche. Wer nicht möchte, dass Inhalte in das Training einfließen, kann GPTBot, ClaudeBot, CCBot und Google-Extended sperren. Nach Artikel 4 der EU-Richtlinie 2019/790 gilt das [als dokumentierter, maschinenlesbarer Opt-out](https://digitalmann.de/blog/ai-crawler-gptbot-claudebot-blockieren-oder-zulassen). Wer dagegen in Antworten auftauchen will, sollte die Such- und Abruf-Agenten nicht aussperren. Ein Assistent kann eine Seite, die er nicht abrufen darf, nicht als Quelle angeben. Erwarten Sie dabei keine Klickflut: In etwa zwei Wochen Logs von drei unserer Kursseiten kam genau ein menschlicher Besucher von Copilot, von ChatGPT, Perplexity, Gemini, Claude und Meta AI keiner. Assistenten beantworten Fragen meist direkt. Der Wert liegt darin, in der Antwort genannt zu werden, nicht im Klick. ## Die Crawler kommen durch – warum nennt mich trotzdem keine KI? Offener Zugang ist Voraussetzung, aber keine Garantie. Am 19. Oktober 2026 fragten wir Assistenten nach den exakten Titeln von 18 Artikeln auf drei Kunden-Websites, jeder älter als drei Wochen. ChatGPT fand 1 von 18, Claude 7 von 18. Google hatte von einer dieser Websites 29 von 30 Artikeln indexiert. Im Google-Index zu sein hieß also nicht, dass ein Assistent die Seite findet. Auch saubere Technik allein reicht nicht. Eine Website mit vollständigem Markup, Server-Rendering, JSON-LD und Sitemap, aber nur 75 URLs, fehlte selbst bei Fragen zum exakten Thema ihres eigenen Artikels. Eine Website mit rund 190.000 crawlbaren URLs wurde ständig gecrawlt. Was nach der Technik kommt, beschreiben wir in [Wie kommt mein Unternehmen in ChatGPT, Claude, Gemini und Perplexity?](https://www.itgrows.ai/business/blog/wie-kommt-mein-unternehmen-in-chatgpt-antworten). Ob Sie heute genannt werden, zeigt der kostenlose Check auf [itgrows.ai](https://www.itgrows.ai/de): Er erzeugt aus Ihrer Startseite fünf Fragen Ihrer Kunden und holt in etwa 30 Sekunden die Antworten von ChatGPT und Perplexity. ItGrows kümmert sich für $499 im Monat zuzüglich einer einmaligen Einrichtung von 499 US-Dollar (entfällt bei Zahlung für 3 Monate oder ein Jahr), monatlich kündbar, um Crawler-Zugang, Indexierung und Artikel auf Ihrer Domain und misst wöchentlich, ob Sie genannt werden. Dass ein Assistent Sie nennt, kann niemand garantieren, auch wir nicht. ## Häufig gestellte Fragen **Reicht es, GPTBot zu erlauben, damit ChatGPT meine Seite findet?** Nein. GPTBot sammelt laut OpenAI Inhalte für das Training, für die Suche in ChatGPT ist OAI-SearchBot zuständig. Erlauben Sie OAI-SearchBot ausdrücklich und prüfen Sie zusätzlich, ob Ihre Firewall die Anfragen durchlässt. **Was bedeutet „Disallow: /“ unter „User-agent: *“ für KI-Crawler?** Es sperrt jeden Crawler, der keine eigene Gruppe in Ihrer robots.txt hat, also auch alle KI-Bots. Wer einzelne Bots zulassen will, braucht für sie eigene Gruppen mit passenden Allow-Regeln. **Kann ich das Training sperren und trotzdem in KI-Antworten auftauchen?** Bei OpenAI ist das dokumentiert: GPTBot sperren, OAI-SearchBot erlauben. Bei anderen Anbietern sollten Sie deren aktuelle Dokumentation prüfen, und ob Sie danach genannt werden, kann niemand zusichern. **Wie oft sollte ich die Prüfung wiederholen?** Nach jeder Änderung an robots.txt, CDN, Firewall oder Seitenstruktur und zusätzlich in festen Abständen. Unser eigener Präfix-Fehler blieb vom 11. August bis 21. Oktober 2026 unbemerkt, weil niemand gezielt nachgesehen hat.