谷歌蜘蛛来的太多了(为什么访问的都是谷歌蜘蛛)

   抖音SEO    

想做好网站的SEO优化我们更多的是要做好SEO数据的监测和分析,市面上有很多分析工具,也有一些有条件的SEO技术公司会自己去开发一些SEO分析软件来进行辅助SEO优化,虽然很多人有用过爱站工具去分析搜索引擎蜘蛛,但是很少有同仁们出这方面的详细解说,那么下面就让百城SEO给大家分享一下如何利用爱站工具去分析搜索引擎蜘蛛!

一、网站日志文件哪里拿?(无忧主机)

想利用爱站工具去分析搜索引擎蜘蛛首先我们得拿到网站日志文件,那么日志文件去哪里拿呢?百城SEO用得比较多的是无忧主机,时间有限今天就以无忧主机来做例子解说吧。

安装个WinSCP,主要用于连接无忧的FTP进行网站文件管理,文件在/domains/xx.com/logs文件目录中,下载到本地文件夹,并进行解压,解压后会发现xx.com.error.log.1和xx.com.log.1两个文件,这时你会发现文件打不开,是的,这个文件需要把后缀改一下,把xx.com.log.1改为xx.com.log,这时用记事本方式打开你会看到一大串的日志数据,如果没有工具进行分析的话单单用人工去一个个分析,我不敢说所有人做不到,但是能做到的都是牛人,这种这么有耐心和细腻的人肯定会在SEO技术方面也不会差。好了,废话少说,下面继续讲解在SEO数据的监测和分析中如何利用爱站工具去分析搜索引擎蜘蛛。

二、各搜索引擎蜘蛛名称

要想知道在SEO优化中如何分析各搜索引擎蜘蛛,首先我们得先了解各搜索引擎的蜘蛛名称。

1、百度蜘蛛:Baiduspider

2、360蜘蛛:360Spider

3、谷歌蜘蛛:Googlebot

4、搜狗蜘蛛:Sogou

5、头条蜘蛛:Bytespider

6、微软bing:bingbot

7、雅虎蜘蛛:Slurp

8、搜搜蜘蛛:Sosospider

9、有道蜘蛛:YoudaoBot

10、一淘网蜘蛛:EtaoSpider

11、即刻蜘蛛:JikeSpider

12、宜搜蜘蛛:EasouSpider

13、一搜蜘蛛:YisouSpider

14、Ahrefs蜘蛛:AhrefsBot

15、谷歌日本:DoCoMo

16、俄罗斯蜘蛛:YandexBot

17、Alexa蜘蛛:ia_archiver

18、MDN蜘蛛:msnbot

三、利用爱站工具去分析搜索引擎蜘蛛

上面讲了那么多, 日志文件和蜘蛛名称我们都拿到了,下面终于进入我们的主题,接下来就用图文方式给大家分享如何利用爱站工具去分析搜索引擎蜘蛛。

1、打开爱站工具包(假如没有爱站工具包的可以去搜索引擎里面搜索下载一个,想做好SEO优化这些工具是个好帮手)打开爱站工具包后我们找到“日志分析”,点开进入日志分析系统。如下图:

2、选择刚刚从无忧主机下出来的文件,导入日志文件,如下图:

3、概要分析:点击分析,此时可以看到爱站工具包给你分析出来的各个搜索引擎的蜘蛛的访问次数、总停留时间、总抓取量、占比%,由此可以看得到有哪个搜索引擎蜘蛛有来访问过你的站,要想搜索引擎收录你的页面,那么蜘蛛的访问是关键。假如你想做的搜索引擎没有蜘蛛光顾,那么你的站的做得再好都没用。

4、目录分析:可以看到各个搜索引擎蜘蛛对每个目录的最后抓取时间、总抓取量

5、页面抓取:可以看到各个搜索引擎蜘蛛对每个页面的上次抓取时间、总抓取量

6、IP排行:可以分析到各个搜索引擎蜘蛛的IP

7、蜘蛛状态码:可以很清楚分析到各个蜘蛛在对你的页面访问中返回的状态,从而来判断你的页面是否有问题,今天每个状态编码对应的说明可以去蜘蛛设计里面有个状态码页面有具体的说明,如下图所示:

好了,以上讲了那么多,相信你已经学会在SEO分析中如何利用爱站工具去分析各搜索引擎蜘蛛情况了。是不是感觉很好用呢?希望此篇文章能给大家带来干货吧,如有不好的地方我们会继续努力,百城SEO也会在以后分享更多SEO优化相关的文章,请继续关注,让我们一起来发现SEO优化更多的新大陆吧!

 标签:

评论留言

我要留言

欢迎参与讨论,请在这里发表您的看法、交流您的观点。