Warum wir das gebaut haben
Auf itgrows.ai war eine robots.txt-Regel, die eine einzige Weiterleitungsseite verbergen sollte, /b, als Präfix geschrieben. Vom 11. August bis zum 21. Oktober 2026 sperrte sie außerdem /blog, /business und jeden unserer Leitfäden für alle Crawler. Im Browser luden die Seiten problemlos, die Regel sah harmlos aus, und Bing führte unsere Business-Seite die ganze Zeit als „entdeckt, aber nicht gecrawlt“. Das Lesen der Regeln hat es nicht verraten; das Testen echter URLs gegen sie schon.
Was Sie mit dem Ergebnis tun können
- Regeln, die Seiten sperren, die gelesen werden sollen: Schreiben Sie sie so um, dass sie nur das treffen, was gemeint war, zum Beispiel mit einem abschließenden
$. Siehe Blockiert Ihre Website KI-Crawler? (auf Englisch). - Ein Crawler, den Ihr Server abweist: Das liegt an Ihrer Firewall oder Ihrem CDN, nicht an der robots.txt. Siehe GPTBot von Cloudflare blockiert (auf Englisch).
- Alles offen: Die nächste Frage ist, ob die Assistenten Sie nennen. Starten Sie den KI-Sichtbarkeitscheck.
Häufige Fragen
Wie entscheidet der Check, ob eine Seite gesperrt ist?
Er liest Ihre robots.txt so, wie Crawler es tun: die Gruppe für den jeweiligen Crawler (oder die *-Gruppe), die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow, * und $ wirken als Platzhalter. Dann testet er die Seiten Ihrer Sitemap gegen diese Regeln, Crawler für Crawler.
Warum sollte robots.txt Seiten sperren, die ich nie sperren wollte?
Regeln sind Präfixe. Eine Regel für eine einzelne Seite, etwa Disallow: /b, trifft auch /blog und /business. Genau diesen Fehler haben wir auf itgrows.ai gemacht, und er hat unsere Leitfäden zehn Wochen lang für alle Crawler gesperrt, bevor wir ihn bemerkten.
Meine robots.txt erlaubt alles. Können Crawler trotzdem blockiert sein?
Ja. Eine Firewall, ein CDN oder ein Bot-Schutz kann einen Crawler abweisen, selbst wenn die robots.txt ihn einlädt. Der Check sendet Ihrem Server deshalb auch Anfragen als GPTBot, ClaudeBot und PerplexityBot und zeigt, was er geantwortet hat.
Welche Crawler zählen, um in KI-Antworten genannt zu werden?
Diejenigen, die Suche und Live-Antworten speisen: OAI-SearchBot und ChatGPT-User für ChatGPT, Bingbot, weil die ChatGPT-Suche und Copilot auf Bing zurückgreifen, Googlebot für Gemini und AI Overviews, PerplexityBot sowie die Crawler von Anthropic für Claude. GPTBot ist der Trainings-Crawler von OpenAI.