Robots.txt filen är den första filen som Google spindlar när den besöker en webbplats och därför är den väldigt viktig fil.
Filen ligger i roten exempelvis https://expandtalk.se/robots.txt,
Ett klassiskt problem är att man bygger något på en utvecklingsserver där man sätter robot.txt filen att inte bli indexerad. Det har hänt rätt många gånger i historien att man glömt denna inställningen vilket innebär att sajten inte blir indexerad i Google. Ifall detta händer måste man ändra inställningarna och därefter indexera om sajten i Google Search Consolen.
Google säger att du ska undvika URL-parametrar’
John Mueller på Google sa att man inte skulle använda robots.txt filen för att blockera indexeringen av URL:er med URL-parametrar. Om man gör det kan Google inte cannolisera URL:erna och du kan förlora allt värde från dessa sidorna. Han rekommenderade att använda rel-canonicals och länkar enhetligt över hela sajten.
I robots.txt filen kan du blockera vissa verktyg
User-agent: SemrushBot Disallow: / User-agent: xenu Disallow: / User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: /
Lägga till en sajtkarta
Om du vill lägga till sitekartan gör det att sajten indexeras lättare.
Sitemap: https://expandtalk.se/post-sitemap.xml Sitemap: https://expandtalk.se/page-sitemap.xm
