我们对一个网站进行优化，是为了能够让关键词获得更好的排名从而来获得更多的流量和转化，但是很多站点存在着或多或少的“蜘蛛陷阱”阻碍搜索引擎蜘蛛的爬行和抓取，这样会导致网站整体收录较低，变相影响了网站排名和SEO效果。

一、蜘蛛陷阱的定义：

简单的来说，蜘蛛陷阱就是阻碍蜘蛛爬行和抓取页面的障碍物。这些障碍物有的是网站为了追求特定效果，但是并不一定对搜索引擎的蜘蛛友好；有些蜘蛛陷阱是因为站长不了解SEO而无意设置的。、

二、常见的蜘蛛陷阱有哪些？

1、Flash

在网页的某一部分使用flash可以增加视觉效果，吸引用户的目光，常见于首页中的banner或者轮播图，这种flash只是网页中的一小部分，对搜索引擎的收录和抓取没有任何影响。但是有的站点将首页直接设置成一个全屏flash，这种做法用户可以看懂，但是搜索引擎是无法读取flash里面的文字信息和链接的内容，这就是我们常说的蜘蛛陷阱。

随着互联网的发展，人们对SEO的重要性逐渐加深，即使是网站首页的轮播图已经很少有站长使用flash了，一般会使用js文件替换flash。如果因为各种原因网站首页必须使用flash，那么在首页flash之外的代码中添加一个指向HTML网站的链接。

2、各种跳转

网站跳转情况每一个互联网用户基本上都遇到过，大家打开某一个URL之后，网站会自动跳转到另外一个URL，实现跳转的方法有很多种，包括301跳转、302跳转、js跳转、Meta Refresh跳转等。

301跳转是我们最常见、也是搜索引擎推荐的跳转方式，除去301跳转之外的其他跳转方式搜索引擎都比较敏感，不建议大家使用。

3、框架

学过网页制作的同学应该知道，这里我们所说的框架，最常见的一种效果就是一个页面中包含左右两部分，一般左侧为文章列表，右侧为文章详细内容，当我们点击左侧文章列表中的某一个标题的时候，右侧会显示相应的内容。

从搜索引擎的角度出发，谷歌不建议使用框架，但仍会抓取，但是百度的态度是不抓取，如没有特殊必要，网站不要使用框架，你也别浪费时间研究如何让搜索引擎收录框架里面的内容。

4、动态网址（动态URL）

我们所说的动态网址指的是由数据库驱动，网站内容实时生成并且带有问号、等号和传参参数的网址。早期搜索引擎抓取动态网址要弱一些，目前搜索引擎抓取动态网址已经没有任何问题了，但是过多的传参参数的动态网址仍不利于搜索引擎爬行和抓取，所以我们要尽量避免或者通过伪静态将动态网址改成静态网址显示。

5、要求登录

有些站点（论坛形式比较多）需要用户登录才能看到一些会员区域，或者强制用户登录才可以看到文章的内容，这些会员区域和内容搜索引擎是无法看到的，蜘蛛只不过是一个机器人，不会自动注册、登录甚至回复。现在我们也就可以理解为什么好多站长喜欢将文章部分内容供读者浏览，剩下的部分内容需要注册才可以观看，这也是为了迎合搜索引擎。

6、Session ID

随着网站程序的复杂性越来越高，很多网站使用回话ID跟踪用户的访问，每当用户访问网站的时候，网站程序都会对访问的页面成一个携带动态ID的URL，如此以来，搜索引擎蜘蛛每次访问时便得到同一个页面对应多个URL，这也是当今网站程序设计中常见的蜘蛛陷阱之一。所以建议跟踪用户的访问使用cookies,而不要选择Session ID。

7、强制使用Cookies

这种现象我们遇到的比较少，但是并不代表不存在。某些网站为实现某种特定功能，强制用户使用Cookies，但搜索引擎蜘蛛就像是一个禁用了Cookies的浏览器。如此设置，只能造成搜索引擎蜘蛛无法正常访问网站。