百度蜘蛛抓取js跳转(javascript爬取网页数据)

   百度SEO    

即使网站在上线前已经有比较完善的页面布局,网站结构,在发展发展的过程中,也会因为各种各样的原因改版,这个时候,301永久重定向的作用就体现出来了。

一般来讲,网站改版分为两种。一种是前端页面改版。另外一种是链接结构发生变化如更换建站系统的改版。前者不用使用301,后者则必须使用301。注:即使是前端页面的改版,也会对主网站的流量造成影响,其中的原因应该是关键词的位置与频次因为页面的变化而发生了变化。

对于链接结构发生变化的网站来讲,需要采用一些方法,将流量损失的程度减小到最低,对于这种情况,我有几个方面的建议:

一:预估网站经历改版所造成的损失。套用百度站长平台的一句话“改性别也别改域名”,无论你采用多完美的改版方法,网站的流量波动,关键词排名波动几乎是不可避免的。前段时间seo每天一贴对网站的结构做了部分调整,seo主关键词的排名就受到了影响,虽然不能预估在这个时间段内损失了多少流量,但损失是肯定的。

二:确定一定以及肯定使用301永久重定向,不要使用302跳转。链接结构发生变化,要让老网址url跳转到对应的新url上。对于这个问题,需要告知领导层,告知正确改版方法的重要性,让领导层来推动改版工作的展开,而不是简单地与程序员沟通。从技术层面来讲,不管网站语言是php还是asp,都是有对应的方法的。另外,着重注意内容上面跳转的一一对应,老首页跳转到新首页,老目录跳转到新目录,老内页跳转到新内页。对于小型网站来讲,还有一个方法也可以使用,那就是把内容页的url设置成主域名/id.html的形式,这样如果遇到改版,就会很轻松的解决。

三:非常十分以及极其要求使用百度站长平台的“网站改版”工具。百度是国内搜索引擎中的老大,网站做这样大的变动,得通知百度爬虫,当然,如果条件允许,也可分别通知好搜以及搜狗。这里也有几种情况:

如果域名一致,只是目录及内容页url改变,那么你就可以使用“站点改版”。

如果域名不一致,有老域名和新域名,原来所有的url与新的url不一致,就需要使用“改版规则”或者“新旧url对”。具体操作,可查阅相关说明。这里也贴出来,如下:

1、需要您在站长平台同一账号验证新旧站点的权限。

2、在您提交改版规则之前,请确保您的网站已经设置好301跳转,并且是跳转一一对应的关系。

3、该工具针对的是网站链接的改变,网站内容改版不适用于该工具。

4、改版完成之后,在百度搜索前端会短时间内就看到替换效果,新站流量提升较快,索引量缓慢转移。

5、正常的改版过程是:规则校验中(0.5-2小时)->改版进行中(0.5-2天)->改版完成;其他异常状态请关注详细错误信息。

6、当状态为“部分改版中”时,说明您的规则校验成功率不高,只能对符合规则部分的链接进行改版,进度较慢,您可以删除原有规则重新提交。

7、您提交的三类改版形式,不能有交叉或者包含关系,即不能有一条链接同时属于多个改版形式。

8、改版跳转关系请长期保持,直到新站流量完全稳定。

9、对于以前提交的网站改版,现改版类型标识为“旧版站点”或“旧版目录”,新版本会兼容持续处理,但是建议按照新版本提交改版规则,有助于提高处理速度。

四:通过百度站长平台的链接提交工具,指引爬虫爬取更新后的网址url。可以使用自动提交中的sitemap功能,将最新的改版后的url以绝对地址的形式,放置到sitemap文件中。另外,改版前的sitemap可在改版后约7天左右的时间去掉。

五:注意观察百度站长平台的索引量数据。如果新url的索引量起来了,就说明使用的网站改版方法起效了。注意不同类型的网站,不同体量网站的起效时间有区别。

实际上,一旦确定网站需要改版,就需要考虑2个东西,一个是301永久重定向,另外一个是百度站长平台的改版工具。

 标签:

评论留言

我要留言

欢迎参与讨论,请在这里发表您的看法、交流您的观点。