www.mandalytics.com/de/ratgeber/is-your-site-open-to-ai/Ratgeber
Ist Ihre Website offen für ChatGPT und Perplexity?
Ratgeber herunterladen oder drucken
Die kurze Antwort
Viele Websites sperren KI-Crawler, ohne es zu wissen, durch eine Zeile in der robots.txt oder eine Standardeinstellung bei Cloudflare. Und die meisten KI-Crawler können kein JavaScript ausführen, Text, der erst nach dem Laden von Skripten erscheint, ist für sie also unsichtbar. Beides können Sie in etwa zehn Minuten kostenlos prüfen.
Prüfung 1: Lässt Ihre robots.txt KI-Tools herein?
Öffnen Sie ihredomain.de/robots.txt in Ihrem Browser. Suchen Sie nach Zeilen, die diese Crawler nennen und von Disallow: / gefolgt werden:
| Crawler | Wofür er da ist |
|---|---|
| OAI-SearchBot | Lässt die Suche von ChatGPT Ihre Seiten finden und zitieren |
| GPTBot | Der Crawler von OpenAI zum Training seiner Modelle |
| PerplexityBot | Lässt Perplexity Ihre Seiten finden und zitieren |
| ClaudeBot | Der Crawler von Anthropic |
| Google-Extended | Eine Einstellung, die steuert, ob Googles Gemini-Modelle Ihre Inhalte nutzen dürfen; die normale Google-Suche bleibt davon unberührt |
Wenn Sie in KI-Antworten genannt werden möchten, sollten die Such-Crawler (wie OAI-SearchBot und PerplexityBot) erlaubt sein. Ob Sie die Training-Crawler zulassen, entscheiden Sie selbst. Eine Zeile wie User-agent: PerplexityBot gefolgt von Disallow: / bedeutet, dass Sie Perplexity bitten, wegzubleiben. Entfernen Sie sie oder ändern Sie sie in Allow: /.
Prüfung 2: Blockiert etwas anderes die Crawler?
Läuft Ihre Website hinter Cloudflare, öffnen Sie Ihr Cloudflare-Dashboard und suchen Sie die Einstellung, die KI-Bots blockiert oder Ihre robots.txt für KI-Crawler verwaltet. Bei manchen Konten ist sie standardmäßig eingeschaltet. Firewalls des Hosters und Sicherheits-Plugins können dasselbe bewirken. Sind Sie unsicher, fragen Sie Ihre Webentwicklerin oder Ihren Webentwickler: „Blockieren wir irgendwo OAI-SearchBot, PerplexityBot oder ClaudeBot?“
Prüfung 3: Können sie Ihren Text lesen?
Die meisten KI-Crawler lesen nur das rohe HTML. Um zu sehen, was sie sehen, öffnen Sie Ihre wichtigste Seite, klicken mit der rechten Maustaste und wählen „Seitenquelltext anzeigen“ (nicht „Untersuchen“). Suchen Sie im Quelltext nach einem Satz von der Seite.
- Sie finden Ihren Text: Super, KI-Crawler können ihn lesen.
- Sie finden nur eine leere Hülle und Skripte: Ihre Seite baut ihren Text mit JavaScript auf. Bitten Sie Ihre Entwicklung um Server-Side-Rendering oder eine statische Version Ihrer wichtigsten Seiten.
Was sollte ich als Nächstes tun?
- Erlauben Sie die KI-Such-Crawler in der robots.txt und in jeder Firewall- oder Cloudflare-Einstellung.
- Stellen Sie sicher, dass Ihre wichtigsten Seiten ihren Text im rohen HTML zeigen.
- Warten Sie ein paar Wochen, stellen Sie dann die Fragen Ihrer Kundschaft erneut in ChatGPT und Perplexity und sehen Sie nach, ob Sie genannt werden.
Lesen Sie dann wie KI-Tools entscheiden, welche Websites sie nennen, für den nächsten Schritt.
Häufige Fragen
Sollte ich GPTBot und andere Training-Crawler zulassen?
Das ist Ihre Entscheidung. Such-Crawler wie OAI-SearchBot und PerplexityBot entscheiden, ob Sie in Antworten zitiert werden können. Training-Crawler entscheiden, ob Ihre Inhalte zum Training von Modellen genutzt werden dürfen.
Garantiert das Entsperren der KI-Crawler, dass ich genannt werde?
Nein. Es räumt ein Hindernis aus dem Weg. Ob Sie genannt werden, hängt auch davon ab, wie nützlich, klar und oft erwähnt Ihre Website ist.
Wie KI-Tools entscheiden, welche Websites sie nennen
Warum Bing für ChatGPT wichtig ist