Robots.txt – filen som styr hela din webbplats

Vad är robots.txt filen?

Robots.txt filen är den första filen som Google spindlar när den besöker en webbplats och därför är den en väldigt viktig fil. Den fungerar som en grindvakt som kan blockera botar och spindlar till din webbplats.

Var hittar jag robots.txt filen?

Filen ligger i roten på en webbserver. Ett exempel på en bra robots.txt fil hittar du på: https://expandtalk.se/robots.txt,

Min sajt indexeras inte på Google vad beror det på?

Det kan finnas olika orsaker att en sajt eller fil inte blir indexerad i Google. Börja med att tita i Google Search Consolen att sajten indexeras rätt.

Ett klassiskt problem är att man bygger något på en utvecklingsserver där man sätter robot.txt filen att inte bli indexerad. Det har hänt rätt många gånger i historien att man glömt denna inställningen vilket innebär att sajten inte blir indexerad i Google. Ifall detta händer måste man ändra inställningarna och därefter indexera om sajten i Google Search Consolen.

Hur kan jag blockera att konkurrenter spindlar och kikar på min webbplats?

I robots.txt filen kan du blockera vissa verktyg

User-agent: SemrushBot Disallow: /
User-agent: xenu Disallow: /
User-agent: MJ12bot Disallow: /
User-agent: AhrefsBot Disallow: /

Hur lägger jag till en sajtkarta?

Att lägga till en sajtkarta
Om du vill lägga till  en eller flera sitemaps innebär det ofta att sajten indexeras bättre. Det här är ett exempel på hur du lägger till sajtkartor för poster och sidor i WordPress. Tänk också på att lägga in dina sajtkartor i Google Search Consolen.

Sitemap: https://expandtalk.se/post-sitemap.xml
Sitemap: https://expandtalk.se/page-sitemap.xm

Att lägga till kommentarer

# robots.txt version 1

Undvik att blockera URL-parametrarna

Google rekommenderar att undvika URL-parametrar. John Mueller Googles talesman för söket har sagt att man inte skulle använda robots.txt filen för att blockera indexeringen av URL:er med URL-parametrar.

Om man gör det kan Google inte cannolisera URL:erna och du kan förlora allt värde från dessa sidorna. Han rekommenderade att använda rel-canonicals och länkar enhetligt över hela sajten.