Är din webbplats öppen för ChatGPT och Perplexity?
Många webbplatser blockerar AI-verktyg utan att veta om det. Tre kostnadsfria kontroller, ungefär tio minuter, och du vet om ChatGPT och Perplexity kan läsa din webbplats och hur du öppnar dörren om de inte kan.
Det viktigaste
- Många webbplatser blockerar AI av misstag. En rad i robots.txt, ett säkerhetsinsticksprogram eller en Cloudflare-inställning kan hålla ChatGPT och Perplexity ute.
- Sökrobotar och träningsrobotar är olika. Tillåt sökrobotarna om du vill bli nämnd; träningsrobotarna är ditt eget val.
- De flesta AI-sökrobotar kan inte köra JavaScript. Om din text bara dyker upp när skript har laddats ser de en tom sida.
- Tre kostnadsfria kontroller, tio minuter. Du behöver inga verktyg eller någon utvecklare för att ta reda på hur du ligger till.
Kort svar
Många webbplatser blockerar AI-sökrobotar utan att veta om det, via en rad i robots.txt eller en standardinställning i Cloudflare. Och de flesta AI-sökrobotar kan inte köra JavaScript, så text som bara dyker upp när skript har laddats är osynlig för dem.
Du kan kontrollera allt det här gratis på ungefär tio minuter. Är allt öppet, grymt: då har du tagit bort det första hindret mellan ditt företag och en AI-rekommendation.
Hur når ett AI-verktyg min webbplats?
Innan ChatGPT eller Perplexity kan nämna dig måste ett litet program som kallas sökrobot besöka din sida och läsa den. Tre saker kan stoppa det på vägen:
Tre ställen där en AI-sökrobot kan stoppas
Varje kontroll nedan täcker ett av dem
- 1FrågaSökroboten läser din robots.txt
- 2Kliv inDin brandvägg eller Cloudflare släpper in den
- 3LäsDin text finns i den råa HTML-koden
- 4LagraSidan kommer med i verktygets index
- 5HänvisaDu kan bli nämnd i svar
Kontroll 1: släpper din robots.txt in AI-verktyg?
Öppna dindomän.se/robots.txt i din webbläsare. Leta efter rader som namnger de här sökrobotarna följda av Disallow: /:
| Sökrobot | Företag | Vad den är till för | Tillåta? |
|---|---|---|---|
OAI-SearchBot | OpenAI | Visar dina sidor i ChatGPT:s sökresultat | Ja, för att bli nämnd |
PerplexityBot | Perplexity | Visar och länkar dina sidor i Perplexitys svar | Ja, för att bli nämnd |
GPTBot | OpenAI | Samlar in innehåll som kan användas för att träna modellerna | Ditt val |
ClaudeBot | Anthropic | Anthropics sökrobot | Ditt val |
Google-Extended | Styr användningen av ditt innehåll för träning och grundning i vissa av Googles AI-system; vanlig sökning styrs av Googlebot | Ditt val |
Källor: OpenAI:s sökrobotar, Perplexitys sökrobotar, Googles AI-funktioner. OpenAI säger att var och en av dess inställningar är oberoende av de andra.
Vill du bli nämnd i AI-svar och är nöjd med att låta träningen vara ditt eget val är de här raderna en bra början. Klistra in dem i robots.txt, eller skicka dem till den som sköter din webbplats:
- User-agent: OAI-SearchBot
- Allow: /
- User-agent: PerplexityBot
- Allow: /
En rad som User-agent: PerplexityBot följd av Disallow: / betyder att du ber Perplexity hålla sig borta. Ta bort den, eller ändra den till Allow: /.
Kontroll 2: är det något annat som blockerar dem?
Robots.txt är en artig förfrågan. Brandväggar är vakten vid dörren. Sedan 1 juli 2025 har Cloudflare ändrat sin standardinställning till att blockera AI-sökrobotar om inte webbplatsägaren tillåter dem. Ligger din webbplats bakom Cloudflare kan AI-sökrobotar avvisas även när din robots.txt säger ja.
Öppna din domän i Cloudflare och leta under Security efter inställningarna som blockerar eller hanterar AI-sökrobotar. Brandväggar hos webbhotellet och säkerhetsinsticksprogram i WordPress kan göra samma sak. Osäker? Fråga din webbutvecklare: "Blockerar vi OAI-SearchBot eller PerplexityBot någonstans?"
Samma sida, två helt olika vyer
Dina besökare ser den färdiga sidan. De flesta AI-sökrobotar ser bara det din server skickar först. Om orden kommer senare via JavaScript lämnar sökroboten med en tom sida.
Kontroll 3: kan de läsa din text?
GPTBot, ClaudeBot och PerplexityBot kör inte JavaScript; Googles Gemini gör det (Vercel och MERJ). För att se vad de ser, öppna din viktigaste sida, högerklicka och välj "Visa sidans källkod" (inte "Inspektera"). Sök i källkoden efter en mening från sidan.
Källkoden visar knappt mer än <div id="app"></div> och en lista med skript.
- Din sida bygger sin text med JavaScript
- ChatGPT, Claude och Perplexity ser en tom sida
- Be din utvecklare om serverrendering eller en statisk version av dina viktigaste sidor
Din mening står precis där i källkoden, mellan vanliga HTML-taggar.
- AI-sökrobotar kan läsa sidan
- Inget att åtgärda här
- Gå vidare till att göra den lätt att citera
Vad ska jag göra härnäst?
Gå igenom de här i ordning. Bocka av dem allt eftersom:
-
Öppna dörren i robots.txt
Tillåt OAI-SearchBot och PerplexityBot, och bestäm vad du vill för träningsrobotarna.
-
Kontrollera brandväggen
Titta i Cloudflare, hos ditt webbhotell och i eventuella säkerhetsinsticksprogram, och släpp igenom AI-sökrobotarna.
-
Se till att din text finns i HTML-koden
Kör testet "Visa sidans källkod" på dina tre viktigaste sidor. Saknas texten, be din utvecklare om serverrendering.
Osäker på hur du ligger till?Vår kostnadsfria webbplatskoll läser din startsida och robots.txt som en sökmotor gör, talar om om AI-sökrobotar är blockerade och visar den enda uppgift som skulle hjälpa mest just nu.
Vänta några veckor och ställ sedan dina kunders frågor i ChatGPT och Perplexity igen. Lär dig därefter hur AI-verktyg avgör vilka webbplatser de nämner och varför Bing spelar roll för ChatGPT.
Vanliga frågor
Ska jag tillåta GPTBot och andra träningsrobotar?
Det är ditt val. Sökrobotar som OAI-SearchBot och PerplexityBot avgör om du kan bli nämnd i svar. Träningsrobotar avgör om ditt innehåll får användas för att träna modeller. OpenAI styr dem var för sig.
Garanterar det att jag blir nämnd om jag släpper in AI-sökrobotarna?
Nej. Det tar bort ett hinder. Att bli nämnd beror också på hur användbar, tydlig och välomnämnd din webbplats är.
Skadar det min placering på Google att blockera Google-Extended?
Google säger att vanlig genomsökning för Sök styrs av Googlebot. Google-Extended styr hur ditt innehåll används för träning och grundning i vissa av Googles AI-system.
Hur lång tid efter att jag släppt in dem hittar AI-verktygen mina sidor?
Vanligtvis några veckor, beroende på hur ofta varje sökrobot besöker. Ställ dina kunders frågor igen efter en månad och se om du blir nämnd.
Läs vidare
