Robots.txt – vad säger Google om filen?

Robots.txt filen är den första filen som Google spindlar när den besöker en webbplats och därför är den väldigt viktig fil.

Filen ligger i roten exempelvis https://expandtalk.se/robots.txt,

Ett klassiskt problem är att man bygger något på en utvecklingsserver där man sätter robot.txt filen att inte bli indexerad. Det har hänt rätt många gånger i historien att man glömt denna inställningen vilket innebär att sajten inte blir indexerad i Google. Ifall detta händer måste man ändra inställningarna och därefter indexera om sajten i Google Search Consolen.

Google säger att du ska undvika URL-parametrar‘

John Mueller på Google sa att man inte skulle använda robots.txt filen för att blockera indexeringen av URL:er med URL-parametrar. Om man gör det kan Google inte cannolisera URL:erna och du kan förlora allt värde från dessa sidorna. Han rekommenderade att använda rel-canonicals och länkar enhetligt över hela sajten.

I robots.txt filen kan du blockera vissa verktyg

User-agent: SemrushBot Disallow: /
User-agent: xenu Disallow: /
User-agent: MJ12bot Disallow: /
User-agent: AhrefsBot Disallow: /

Lägga till en sajtkarta
Om du vill lägga till sitekartan gör det att sajten indexeras lättare.

Sitemap: https://expandtalk.se/post-sitemap.xml
Sitemap: https://expandtalk.se/page-sitemap.xm