百度移动蜘蛛抓取pc页面怎么设置(百度蜘蛛入口)

   谷歌SEO    

7月对于我们广大站长来说,无疑是一个灰色的七月,网站进行大量信息收录被删,排名被K。那么怎么拥有良好的网站收录是SEO的基础工作,只有网站的内容进入了百度的索引库才有机会出现关键词的排名。百度蜘蛛3.0的时代,下面从给大家可以分享一下我们如何通过打造一个适合百度抓取的网站。

一、站点结构

1、逻辑思维清晰的链接层次进行结构

比较好的站点结构还是树状结构,以首页作为节点树状连接,可以访问主页的链接到站点的任何页面。在建立站点树状结构的时候要注意避免过于扁平化的结构,所有的内容页面全部放在根目录也不利于网站的目录权重传递。在建站的时候我们还需要注意的是要避免孤岛链接,所谓孤岛链接就是这样一个系统页面主要通过站内的正常访问是不能没有找到页面的,只有通过直接作为输入网址或地图提交才能找到的页面。这样的页面搜索引擎不易掌握,不利于用户浏览和获取内容,影响用户体验。

2、PC/移动适配

现在移动搜索流量正在增加,通过建立一个匹配,使 pc 端的 url 和移动端的 url,有一个规则级别的对应,和相关性。这样,当移动搜索时,网站就有机会进入移动索引库。对于网站在建立适配的时候推荐建立规则级对应关系,优优蜘蛛池符合一定的正则表达式映射规则。目前百度推荐的视频模式有:跳转适配、代码适配、自适应。例如:

域名/124.html → 手机域名/123.html

域名/456.html → 手机域名/456.html

-------------------------------------------------------------------------------------

不推荐在创建页面改编时使用:

单一域名下采用多种是配方式;

把移动站作为PC站下的一个目录 域名/wap/*

如果使用跳转适配,请不要使用JS适配ua进行跳转。

建立完成:主动、同事通过链接提交工具提交PC端URL和移动端URL

建立自己完成:尽量可以通过网络链接提交工具提交对应规则。

3、站带你主动提交

目前,百度在网站管理员工具中有三种方式,主动推送、自动推送、站点地图为网站管理员提交新的输出资源,及时更新资源,在提交给内容网站管理员时应注意避免内容被搜索引擎死链和低质量的内容。当出现死链接时,可以使用死链接提交工具及时提交死链接和无效资源。

对于手机营销网站也需要通过提交工具对移动链接适配后的链接进行提交,方便搜索引擎对移动页面的充分及时抓取。

4、避免目录被黑/出售

百度蜘蛛的网站评级会从网页、目录等多个维度考虑。一旦我们发现被黑或垃圾主要内容会是百度指数对整个企业站点的质量存疑,进而产生影响以及整个站带你的收录效果,进而可以影响到排名。

通常购买网站目录的人都是利用站点已有的权威,很容易伤害到网站的用户体验,百度对伤害到用户体验的行为是零容忍的。

二、页面结构

1、不建议使用JS加载页面内容

百度蜘蛛对网站抓取的时候包含在JS中的内容是不能抓取的,所以站长希望用户见到的内容不要放在SJ中加载,会影响网页的正常索引,对希望百度抓取的链接也不要放在JS中加载,会影响链接发现

2、布局符合移动通信的良好标准

移动设备有其特殊性。在设计手机页面时,它有着不同于PC机的特殊要求。例如,移动设备通常使用3 g 和4 g 网络信号,它们的加载速度比计算机电缆慢得多,而且超过3秒的页面加载时间不会显示在移动搜索结果中。具体的移动环境友好国家标准我们可以通过参考百度官方的《移动站点对百度友好全解》。

3、索引页&索引页翻页友好型

当在电脑上做索引页面和翻页时,如果可能的话列出所有翻页,至少包括所有内容的最新时期。翻页时只使用“上一页”和“下一页”,不利于搜索引擎对页面的充分把握。此外,它对于移动终端也是特殊的。使用下拉触发加载时,建议最大下拉加载次数为3次,因此必须避免无线下拉加载的设计。

三、抓取限制

1、避免预期以外的封禁

常见的意外封禁包括:网站模板中的封禁信息、服务器自动封禁策略、服务商在网站所在空间的IP封禁。当网站内容异常时,可以考虑对上述因素逐一排查。

还有最常见的屏蔽百度蜘蛛抓取的是robots屏蔽,这种情况多是站长失误导致希望抓取的目录被屏蔽了抓取。

2、使用标准重定向

在修改网站时经常会出现页面重定向跳转,在使用重定向时建议使用301跳转,不建议使用 js 重定性。

3、死链反馈

对于企业网站中出现死链接的时候,要设置一个百度蜘蛛抓取数据返回404的状态码以便通过百度蜘蛛能得到学生正确的反馈。如果出现的死链接较多的时候可以参考 上文中的死链接提交工具。

以上就是构建符合百度的蜘蛛爬行网站的三种解读,希望对大家有所帮助。如果,您还有疑问,想学习到更多干货知识或者是想进SEO学习交流群的,可以关注我,我的微信号:seobst,大家可以及时添加咨询,每天进步一点点。

 标签:

评论留言

我要留言

欢迎参与讨论,请在这里发表您的看法、交流您的观点。