www.mandalytics.com/sv/guider/is-your-site-open-to-ai/Guider
Är din webbplats öppen för ChatGPT och Perplexity?
Ladda ner eller skriv ut guiden
Kort svar
Många webbplatser blockerar AI-crawlers utan att veta om det, via en rad i robots.txt eller en standardinställning i Cloudflare. Och de flesta AI-crawlers kan inte köra JavaScript, så text som först dyker upp när skript laddats är osynlig för dem. Du kan kontrollera båda gratis på ungefär tio minuter.
Kontroll 1: släpper din robots.txt in AI-verktyg?
Öppna dinadress.se/robots.txt i webbläsaren. Leta efter rader som nämner dessa crawlers följt av Disallow: /:
| Crawler | Vad den är till för |
|---|---|
| OAI-SearchBot | Låter ChatGPT:s sökning hitta och citera dina sidor |
| GPTBot | OpenAIs crawler för att träna modeller |
| PerplexityBot | Låter Perplexity hitta och citera dina sidor |
| ClaudeBot | Anthropics crawler |
| Google-Extended | En inställning som styr om Googles Gemini-modeller får använda ditt innehåll; den påverkar inte vanlig Google-sökning |
Vill du bli nämnd i AI-svar ska sökcrawlers (som OAI-SearchBot och PerplexityBot) vara tillåtna. Om träningscrawlers ska vara tillåtna väljer du själv. En rad som User-agent: PerplexityBot följd av Disallow: / betyder att du ber Perplexity hålla sig borta. Ta bort den, eller ändra till Allow: /.
Kontroll 2: blockerar något annat dem?
Om din webbplats ligger bakom Cloudflare, öppna Cloudflare och leta efter inställningen som blockerar AI-bottar eller hanterar din robots.txt för AI-crawlers. Vissa konton har den påslagen som standard. Brandväggar hos webbhotellet och säkerhetsplugin kan göra samma sak. Är du osäker, fråga din webbutvecklare: "Blockerar vi OAI-SearchBot, PerplexityBot eller ClaudeBot någonstans?"
Kontroll 3: kan de läsa din text?
De flesta AI-crawlers läser bara den rena HTML-koden. För att se vad de ser: öppna din viktigaste sida, högerklicka och välj "Visa sidkälla" (inte "Inspektera"). Sök i källan efter en mening från sidan.
- Du hittar din text: bra, AI-crawlers kan läsa den.
- Du hittar bara ett tomt skal och skript: din sida bygger sin text med JavaScript. Be din utvecklare om serverrenderade eller statiska versioner av dina viktigaste sidor.
Vad gör jag härnäst?
- Tillåt AI-sökcrawlers i robots.txt och i alla brandväggs- eller Cloudflare-inställningar.
- Se till att dina viktigaste sidor visar sin text i den rena HTML-koden.
- Vänta några veckor och ställ sedan kundernas frågor i ChatGPT och Perplexity igen och se om du nämns.
Läs sedan hur AI-verktyg väljer vilka webbplatser de nämner för nästa steg.
Vanliga frågor
Ska jag tillåta GPTBot och andra träningscrawlers?
Det väljer du själv. Sökcrawlers som OAI-SearchBot och PerplexityBot avgör om du kan citeras i svar. Träningscrawlers avgör om ditt innehåll får användas för att träna modeller.
Garanterar det att jag nämns om jag släpper in AI-crawlers?
Nej. Du tar bort ett hinder. Om du nämns beror också på hur användbar, tydlig och väl omnämnd din webbplats är.
Hur AI-verktyg väljer vilka webbplatser de nämner
Därför spelar Bing roll för ChatGPT