MJ12bot、SemrushBot、AhrefsBot是什么蜘蛛？如何屏蔽？

每天习惯性的打开网站蜘蛛分析插件，分析一下百度蜘蛛抓取的情况。

结果，发现百度蜘蛛抓取的内容不多，反而是下面几个SEO分析的网站蜘蛛疯狂的在网站里面进行抓取，主要有：

MJ12bot、Semrushbot、Ahrefsbot

这三个网站的蜘蛛，占据了整个网站里面蜘蛛爬行超过60%以上的占比，而且在网站里面抓取的页面非常的多。

那么像MJ12bot蜘蛛对于网站SEO会有什么样的影响呢？如果屏蔽掉这些蜘蛛会不会对SEO排名有影响？

这估计是很多新手站长迫切想知道的问题。

MJ12bot、Semrushbot、Ahrefsbot

这三个网站的蜘蛛里面ahrefs倪叶明应该是最熟悉的，因为在很多年以前我做SEO的时候就靠这个网站来分析竞争对手的外链建设的情况。

ahrefs以前我用到的最多的就是：它可以分析竞争对手网站的锚文本外链。

这个是很多其他的站长工具平台完全做不到的。

因为国内的站长工具平台都没有蜘蛛爬行功能，只能被动的等待用户去查询网站数据，生成页面。

ahrefs是会主动抓取网站数据的，所以用来做竞争对手的网站数据分析效果非常的好。

但是，对于一些本身服务器性能就不好的站长来说的话，这些蜘蛛天天在网站里面疯狂的抓取内容，会严重影响服务器的性能，而且对网站SEO来说的话是没有任何帮助的。

所以，倪叶明建议大家直接屏蔽掉就好了，不用担心会有什么影响。

屏蔽的方式很简单：

直接在robots里面加入如下代码即可。

User-agent: MJ12bot

Disallow: /

如果你不会写robots的话，用蜘蛛分析插件也是一样有屏蔽功能的。