在搜索外的问答上，看到一个朋友吐槽，说他在什么地方买了蜘蛛池，结果他的网站没有加蜘蛛爬行，然后说这个平台垃圾。在这里，笔者没有讨论这个蜘蛛池是怎么样的，而是想说对于新站来说，蜘蛛池并不能促进爬行和包容。

我们不妨看看搜索引擎是如何工作的，搜索引擎蜘蛛在一个页面，将提取内部的链接，并返回到链接库，然后决定继续抓取。对于新站，搜索引擎有一个特定的算法，我们都应该有经验，就是说，新站将很少爬行。为什么这么少？这是新站点机制的搜索引擎。

搜索引擎对于抓取新的网站是很谨慎的，就像我们第一次遇到某人，或者只是简单的寒暄几句，我们不会有很高的信任度。这里还要注意的是，搜索引擎蜘蛛并没有停止前往新站，而是更多的是观察而不是直接抓取。

蜘蛛池的作用是让目标企业网站的某些产品链接进行更多的被提取，但这不等于说蜘蛛就会去抓取分析这些信息链接，对于新站，蜘蛛可能我们会去爬行，但不一定会抓取。大家自己应该都知道新站有个考察期，这期间中国无论是抓取频次还是没有其他管理方面的数据，都不会得到很好。

这里有一个新的问题，但是我们也很关心这个问题，就是蜘蛛没有抓住网站的内容，我们怎么知道网站的具体情况？

其实答案很简单。我们分析网站日志，或者看百度搜索资源平台，看到的都是抓取的数据！请注意，这个抓取数据意味着蜘蛛成功抓取了页面内容，并将内容存储在搜索引擎的数据库中，同时返回了200个代码。如果蜘蛛只是爬行而不抓取，我们就无法很好地看到这些数据。换句话说，虽然我们看到了这些成功抓取的数据，但实际上搜索引擎可能同时抓取了页面和识别了内容，但并没有根据策略进行抓取。

通过前面的内容解释，比较大家可以了解蜘蛛爬行和抓取之间的关系。让我们回到文章的主题。为什么蜘蛛池不能直接促进蜘蛛捕捉和包容？显而易见的答案是，目标 url 可以通过 spider pool 捕获，但这只是提取 url。搜索引擎蜘蛛也可以抓取这些网站，但是是否抓取和包含网页，与网站本身有很大的关系。对于新站来说，通常蜘蛛不会直接捕获和包含，而是需要经过一段时间的检查！

同时也说明了一个问题，就是打铁需要硬。如果网站内容不够，用户体验差，即使使用蜘蛛池，网站收藏等数据也不会很好。所以，笔者还是建议大家要真正做到内容为王，这绝对是网站优化的基础和根基。没有高质量的内容，其他工作只能事半功倍。

作者：星宇SEO

来源：微信公众号【星宇SEO干货分享】

著作权归作者所有。商务转载请联系作者获得授权，非商业转载请注明出处