Robots.txt – vad säger Google om filen?

0

Robots.txt filen är den första filen som Google spindlar när den besöker en webbplats och därför är den väldigt viktig fil.

Filen ligger i roten exempelvis https://expandtalk.se/robots.txt,

Ett klassiskt problem är att man bygger något på en utvecklingsserver där man sätter robot.txt filen att inte bli indexerad. Det har hänt rätt många gånger i historien att man glömt denna inställningen vilket innebär att sajten inte blir indexerad i Google. Ifall detta händer måste man ändra inställningarna och därefter indexera om sajten i Google Search Consolen.

Google säger att du ska undvika URL-parametrar

John Mueller på Google sa att man inte skulle använda robots.txt filen för att blockera indexeringen av URL:er med URL-parametrar. Om man gör det kan Google inte cannolisera URL:erna och du kan förlora allt värde från dessa sidorna. Han rekommenderade att använda rel-canonicals och länkar enhetligt över hela sajten.

I robots.txt filen kan du blockera vissa verktyg

User-agent: SemrushBot Disallow: /
User-agent: xenu Disallow: /
User-agent: MJ12bot Disallow: /
User-agent: AhrefsBot Disallow: /


Lägga till en sajtkarta
Om du vill lägga till sitekartan gör det att sajten indexeras lättare.

Sitemap: https://expandtalk.se/post-sitemap.xml
Sitemap: https://expandtalk.se/page-sitemap.xm
Share.

About Author

Daniel Larsson bloggar inom digital marknadsföring och specialist på sökmotoroptimering. Ämnen han bloggar om handlar om digitala strategier som SEO, KPI:er, webbanalys, kryptovalutor och cybersecurity.Expandtalk är en nischad webbyrå i Stockholm som är specialiserad på sökmotoroptimering och content marketing. Vi jobbar med digital marknadsföring och är specialister på att öka trafiken och konverteringar på webbplatser.

Comments are closed.

Share via
Copy link
Powered by Social Snap