百度蜘蛛抓取时间设置(禁止百度蜘蛛抓取代码)

   360SEO    

在网站日常运营的过程中,我们偶尔会遇到如下问题,

网站流量持续下降

网站抓取频率下降

网站索引量保持不变

面对这种情况,我们在网站优化时应该如何进行审核以规避可能出现的风险,结合愚人平时的工作经验,主要可以从以下几方面进行分析:

1、服务器更换

在进行服务器更换的时候,如果处理不当,还是非常容易造成百度爬虫抓取不稳定的情况,比如:

网站稳定性

在更换服务器后,你的服务器线路与IP可能会发生改变,这个时候,你需要在百度后台查看,百度蜘蛛访问是否出频频出现“链接超时”的情况。

如果在不同时间节点,大量出现这个问题,那么一定会影响抓取量。

网站URL改变

由于更换服务器,对于一些伪静态的网站而言,它经常需要调整伪静态规则,在这个过程中,如果你的规则处理不当,造成动态URL与伪静态URL并存。

那么,很容易造成,大量重复URL出现,你可以简单通过site域名查看。

如果出现这个问题,一是修正相关规则,二是利用301重定向。

防护软件误伤

有很多站长会在服务器开启第三方安全防护软件,这些软件大部分有一个自动屏蔽IP的功能,如果在某个IP段大量出现攻击行为,甚至会自动屏蔽IP段。

但有的时候,它也很有可能出现“误伤”比如:错误的屏蔽了百度蜘蛛IP段。

服务器安全

毫无疑问,如果网站被黑,它经常是导致流量与抓取直线下降的主要原因,你需要审查是否被恶意篡改代码,是否有选择性的弹窗(根据IP地区、区别用户与蜘蛛等)

2、网站优化原因

如果你近期的优化策略相对比较激进或被动,都会产生上述问题,比如:

被刷点击

这是一个非常让人无语的行为,但百度也经常会错误的认为你是在尝试作弊,而造成误伤。

短期大量外链

对于外链优化而言,快速建立大量外链,有的时候其实并没有太大问题,问题在于,如果你所建立的低质量外链,比如:新闻站群外链,刚好有一部分域名,是在百度黑名单中,那么你的站点可能会短期快速被牵连。

而如果你选择的是新站群域名,那么可能还好一点。

关键词堆积

最近百度上线《百度搜索网页标题规范》你是否认真查看,有大量站点因为标题堆积关键词,以及错误使用标点符号,被修改标题,从而造成页面排名大量丢失。

3、百度算法调整

百度每隔一段时间会更新一些算法,如果你发现同行很多站点都出现类似的情况,而且也没有检查出来任何违规的操作,很大可能是算法更新导致的波动,可以先观察一段时间,如果还有异常,可以直接向百度反馈。毕竟算法有时也会出现误伤。

网站流量与抓取同时下降,仍然还有诸多细节,需要讨论,而上述内容,仅供参考,希望能对你有所帮助

 标签:

评论留言

我要留言

欢迎参与讨论,请在这里发表您的看法、交流您的观点。