Vad är robots.txt filen?
Robots.txt filen är den första filen som Google spindlar när den besöker en webbplats och därför är den en väldigt viktig fil. Den fungerar som en grindvakt som kan blockera botar och spindlar till din webbplats.
Var hittar jag robots.txt filen?
Filen ligger i roten på en webbserver. Ett exempel på en bra robots.txt fil hittar du på: https://expandtalk.se/robots.txt,
Min sajt indexeras inte på Google vad beror det på?
Det kan finnas olika orsaker att en sajt eller fil inte blir indexerad i Google. Börja med att tita i Google Search Consolen att sajten indexeras rätt.
Ett klassiskt problem är att man bygger något på en utvecklingsserver där man sätter robot.txt filen att inte bli indexerad. Det har hänt rätt många gånger i historien att man glömt denna inställningen vilket innebär att sajten inte blir indexerad i Google. Ifall detta händer måste man ändra inställningarna och därefter indexera om sajten i Google Search Consolen.
Hur kan jag blockera att konkurrenter spindlar och kikar på min webbplats?
I robots.txt filen kan du blockera vissa verktyg
User-agent: SemrushBot Disallow: / User-agent: xenu Disallow: / User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: /
I en undersökning som Idealo gjorde i december 2022 och utgick från data från Alexa och robots.txt filerna från data från en miljon av världens största sajter kom de fram till att de mest blockerade botarna var:
- Googlebot
- Yandexbot (rysk sökmotor)
- Ahrefs bot (ukrainsk SEO verktyg)
- Google Adsbot
- Baidu bot (kinesisk sökmotor)
- Microsoft Bingbot
- Semrush Bot (Amerikanskt/Ryskt SEO verktyg)
- Majestic Bot (SEO länk-verktyg)
- Yahoo slurp
- Sogou Bot (Kinesisk sökmotor)
Lista med de vanligaste botarna.
Det kan finnas olika anledningar till att man vill blockera spindlar som att man vill spara kapaciteten på servrar speciellt om man inte har någon fördel av att spindlas av dem. För sökmotorer kan det finnas SEO skäl att inte bli spindlade av SEO.
Hur lägger jag till en sajtkarta?
Att lägga till en sajtkarta
Om du vill lägga till en eller flera sitemaps innebär det ofta att sajten indexeras bättre. Det här är ett exempel på hur du lägger till sajtkartor för poster och sidor i WordPress. Tänk också på att lägga in dina sajtkartor i Google Search Consolen.
Sitemap: https://expandtalk.se/post-sitemap.xml Sitemap: https://expandtalk.se/page-sitemap.xm
Att lägga till kommentarer
# robots.txt version 1
Om författaren
Daniel Larsson började jobba professionellt med webben 1994. Han är utbildad civilekonom inom marknadsföring och har jobbat +20 år som senior SEO-specialist. Daniel har arbetat inhouse som webbansvarig och marknadsansvarig. Han har på byråsidan varit konsult för flera av Sveriges största varumärken och suttit med i juryn för Nordic Search Awards och European Search Awards.
