Ist Ihre Website offen für ChatGPT und Perplexity?
Viele Websites blockieren KI-Tools, ohne es zu wissen. Drei kostenlose Prüfungen, etwa zehn Minuten, und Sie wissen, ob ChatGPT und Perplexity Ihre Website lesen können und wie Sie die Tür öffnen, wenn nicht.
Das Wichtigste in Kürze
- Viele Websites blockieren KI versehentlich. Eine Zeile in der robots.txt, ein Sicherheits-Plugin oder eine Cloudflare-Einstellung kann ChatGPT und Perplexity aussperren.
- Such-Bots und Trainings-Bots sind verschieden. Erlauben Sie die Such-Bots, wenn Sie genannt werden möchten; die Trainings-Bots sind Ihre eigene Entscheidung.
- Die meisten KI-Crawler können kein JavaScript ausführen. Erscheint Ihr Text erst, nachdem Skripte geladen wurden, sehen sie eine leere Seite.
- Drei kostenlose Prüfungen, zehn Minuten. Sie brauchen weder Tools noch einen Entwickler, um herauszufinden, wo Sie stehen.
Die kurze Antwort
Viele Websites blockieren KI-Crawler, ohne es zu wissen, durch eine Zeile in der robots.txt oder eine Standardeinstellung in Cloudflare. Und die meisten KI-Crawler können kein JavaScript ausführen, sodass Text, der erst nach dem Laden von Skripten erscheint, für sie unsichtbar ist.
Das alles können Sie in etwa zehn Minuten kostenlos prüfen. Ist alles offen, großartig: Dann haben Sie die erste Hürde zwischen Ihrem Unternehmen und einer KI-Empfehlung aus dem Weg geräumt.
Wie erreicht ein KI-Tool meine Website?
Bevor ChatGPT oder Perplexity Sie nennen können, muss ein kleines Programm namens Crawler Ihre Seite besuchen und lesen. Drei Dinge können es unterwegs aufhalten:
Drei Stellen, an denen ein KI-Crawler gestoppt werden kann
Jede Prüfung unten behandelt eine davon
- 1FragenDer Crawler liest Ihre robots.txt
- 2EintretenIhre Firewall oder Cloudflare lässt ihn herein
- 3LesenIhr Text steht im rohen HTML
- 4SpeichernDie Seite kommt in den Index des Tools
- 5NennenSie können in Antworten genannt werden
Prüfung 1: Lässt Ihre robots.txt KI-Tools herein?
Öffnen Sie ihredomain.de/robots.txt in Ihrem Browser. Suchen Sie nach Zeilen, die diese Crawler nennen, gefolgt von Disallow: /:
| Crawler | Unternehmen | Wofür er da ist | Erlauben? |
|---|---|---|---|
OAI-SearchBot | OpenAI | Zeigt Ihre Seiten in den Suchantworten von ChatGPT | Ja, um genannt zu werden |
PerplexityBot | Perplexity | Zeigt und verlinkt Ihre Seiten in Antworten von Perplexity | Ja, um genannt zu werden |
GPTBot | OpenAI | Sammelt Inhalte, die zum Training seiner Modelle verwendet werden können | Ihre Entscheidung |
ClaudeBot | Anthropic | Der Crawler von Anthropic | Ihre Entscheidung |
Google-Extended | Steuert die Nutzung Ihrer Inhalte für Training und Grounding in einigen KI-Systemen von Google; die normale Suche wird von Googlebot gesteuert | Ihre Entscheidung |
Quellen: OpenAI-Crawler, Perplexity-Crawler, Google-KI-Funktionen. OpenAI sagt, dass jede seiner Einstellungen unabhängig von den anderen ist.
Wenn Sie in KI-Antworten genannt werden möchten und das Training lieber selbst entscheiden, sind diese Zeilen ein guter Anfang. Fügen Sie sie in die robots.txt ein oder schicken Sie sie an die Person, die Ihre Website betreut:
- User-agent: OAI-SearchBot
- Allow: /
- User-agent: PerplexityBot
- Allow: /
Eine Zeile wie User-agent: PerplexityBot gefolgt von Disallow: / bedeutet, dass Sie Perplexity bitten, fernzubleiben. Entfernen Sie sie oder ändern Sie sie in Allow: /.
Prüfung 2: Blockiert etwas anderes sie?
Die robots.txt ist eine höfliche Bitte. Firewalls sind der Türsteher. Seit dem 1. Juli 2025 hat Cloudflare seine Standardeinstellung geändert und blockiert KI-Crawler, sofern der Websitebetreiber sie nicht erlaubt. Läuft Ihre Website hinter Cloudflare, können KI-Such-Bots abgewiesen werden, selbst wenn Ihre robots.txt Ja sagt.
Öffnen Sie in Cloudflare Ihre Domain und suchen Sie unter Security nach den Einstellungen, die KI-Crawler blockieren oder verwalten. Firewalls beim Hoster und WordPress-Sicherheits-Plugins können dasselbe tun. Unsicher? Fragen Sie Ihren Webentwickler: „Blockieren wir irgendwo OAI-SearchBot oder PerplexityBot?“
Dieselbe Seite, zwei völlig verschiedene Ansichten
Ihre Besucher sehen die fertige Seite. Die meisten KI-Crawler sehen nur, was Ihr Server zuerst sendet. Kommen die Wörter erst später per JavaScript, verlässt der Crawler eine leere Seite.
Prüfung 3: Können sie Ihren Text lesen?
GPTBot, ClaudeBot und PerplexityBot führen kein JavaScript aus; Googles Gemini schon (Vercel und MERJ). Um zu sehen, was sie sehen, öffnen Sie Ihre wichtigste Seite, klicken mit der rechten Maustaste und wählen „Seitenquelltext anzeigen“ (nicht „Untersuchen“). Suchen Sie im Quelltext nach einem Satz von der Seite.
Der Quelltext zeigt kaum mehr als <div id="app"></div> und eine Liste von Skripten.
- Ihre Seite baut ihren Text mit JavaScript auf
- ChatGPT, Claude und Perplexity sehen eine leere Seite
- Bitten Sie Ihren Entwickler um Server-Side-Rendering oder eine statische Version Ihrer wichtigsten Seiten
Ihr Satz steht direkt im Quelltext, zwischen gewöhnlichen HTML-Tags.
- KI-Crawler können die Seite lesen
- Hier gibt es nichts zu beheben
- Machen Sie weiter damit, sie leicht zitierbar zu machen
Was sollte ich als Nächstes tun?
Gehen Sie diese der Reihe nach durch. Haken Sie sie nacheinander ab:
-
Öffnen Sie die Tür in der robots.txt
Erlauben Sie OAI-SearchBot und PerplexityBot und entscheiden Sie, was Sie für die Trainings-Crawler möchten.
-
Prüfen Sie die Firewall
Sehen Sie in Cloudflare, bei Ihrem Hoster und in Sicherheits-Plugins nach und lassen Sie die KI-Such-Bots durch.
-
Stellen Sie sicher, dass Ihr Text im HTML steht
Machen Sie den Test „Seitenquelltext anzeigen“ auf Ihren drei wichtigsten Seiten. Fehlt der Text, bitten Sie Ihren Entwickler um Server-Side-Rendering.
Sie wissen nicht, wo Sie stehen?Unser kostenloser Website-Check liest Ihre Startseite und Ihre robots.txt so, wie es eine Suchmaschine tut, sagt Ihnen, ob KI-Crawler blockiert sind, und zeigt die eine Aufgabe, die jetzt am meisten bringt.
Warten Sie einige Wochen und stellen Sie dann die Fragen Ihrer Kunden noch einmal in ChatGPT und Perplexity. Lesen Sie als Nächstes, wie KI-Tools entscheiden, welche Websites sie nennen, und warum Bing für ChatGPT wichtig ist.
Häufige Fragen
Sollte ich GPTBot und andere Trainings-Crawler erlauben?
Das ist Ihre Entscheidung. Such-Crawler wie OAI-SearchBot und PerplexityBot entscheiden, ob Sie in Antworten genannt werden können. Trainings-Crawler entscheiden, ob Ihre Inhalte zum Training von Modellen verwendet werden dürfen. OpenAI steuert sie getrennt.
Garantiert das Freischalten von KI-Crawlern, dass ich genannt werde?
Nein. Es beseitigt eine Hürde. Ob Sie genannt werden, hängt auch davon ab, wie nützlich, klar und oft erwähnt Ihre Website ist.
Schadet das Blockieren von Google-Extended meinem Google-Ranking?
Google sagt, dass das normale Crawling für die Suche von Googlebot gesteuert wird. Google-Extended steuert, wie Ihre Inhalte für Training und Grounding in einigen KI-Systemen von Google verwendet werden.
Wie lange nach dem Freischalten finden KI-Tools meine Seiten?
Meist einige Wochen, je nachdem, wie oft jeder Crawler vorbeikommt. Stellen Sie die Fragen Ihrer Kunden nach einem Monat noch einmal und sehen Sie, ob Sie genannt werden.
Weiterlesen
