网络爬虫百度百科

网络爬虫简介

我跟人聊我是做什么的，SEO是什么，一般都是快速问如何提高爬虫的抓取率，好的网站结构，好的内容，好的反向链接支持。但有时，它变得更加技术性...

为什么网络爬虫会抓取网站？

网络爬行从绘制互联网地图和每个网站如何相互连接开始。它也被搜索引擎用来发现和索引新的网页。网络爬虫还用于测试网站，分析是否发现网站漏洞。

Webcrawler用于收集信息，然后使用和处理这些信息来对文档进行分类，并提供关于所收集数据的见解。

任何熟悉代码的人都可以访问并构建一个爬虫，但要制作一个高效的爬虫很困难，需要花费更多的时间。

网络爬虫是如何工作的？

要对网站或网页进行爬网，您首先需要一个入口点。机器人需要知道你的网站的存在，以便他们可以检查出来。当你向搜索引擎提交你的网站时，网络爬虫知道你的网站存在于互联网中。当然你也可以给你的网站设置一些链接，引导爬虫循环爬行！

一旦网络爬虫登陆你的网站，它会逐行分析你的所有内容，跟踪你的每一个链接，无论是内部链接还是外部链接。以此类推，直到登陆一个没有更多链接的页面，或者遇到404、403、500、503等错误，它才会离开。

从更技术性的角度来看，爬虫使用URL的种子(或列表)。然后将其传递给搜索引擎，搜索引擎将检索页面的内容。然后将这些内容移动到链接提取器，它将解析HTML并提取所有链接。这些链接被发送到存储器。这些URL还将通过页面过滤器，该过滤器将所有链接发送到URL模块。该模块检测URL是否已被看到。如果不是，它将被发送到爬虫，爬虫将检索页面的内容，等等。

注意蜘蛛不能抓取一些内容，比如Flash。目前百度蜘蛛和GoogleBot都能正确抓取部分Javascript。

如果机器人没有被任何规则禁止，他们会抓住所有能找到的链接。这使得robots.txt文件非常有用。它告诉爬虫(它可以特定于每个爬虫，即GoogleBot或百度蜘蛛——在这里找到关于机器人的更多信息)它们不能爬行的页面。比如你可以使用建筑表面进行导航，你可能不希望机器人抓取这些，因为它们几乎没有价值，会浪费抓取预算。查看robots.txt文件协议设置介绍。

示例:

User-agent:*
disallow:/admin/
这告诉所有机器人不要抓取admin文件夹
User-agent:BaiduSpider
disallow:/repertise-b/
另一方面，这只指定了BaiduSpider。

你也可以使用HTML中的指令来告诉机器人不要使用rel="nofollow"标签来跟随特定的链接。一些测试表明，即使在链接上使用rel="nofollow"标签，也不会阻止百度蜘蛛对其进行跟踪。这违背了它的目的，但在其他情况下会有用。

抢预算是多少？

假设一个搜索引擎找到了一个网站，他们会经常检查你是否在你的网站上做了什么更新或者创建了新的页面。
每个网站都有自己的抓取预算，这个预算取决于几个因素，比如你网站的网页数量，你网站的完整性(比如它是否有很多错误)。通过登录百度站长平台，可以方便快捷地了解抢预算。

网站抓取预算会在你每次访问的时候固定你网站上机器人抓取的网页数量。它与你网站的页面数量成正比，有些页面被抓取的频率更高，尤其是定期更新或从重要页面链接。

比如网站首页是主要入口，会被频繁抓取。如果你有博客或分类页面，如果它们链接到主导航，就会经常被抓取。博客也会经常被抓取，因为会定期更新。博客刚发布的时候可能会被抓取，但是几个月后可能就不更新了。

一个页面被抓取的次数越多，机器人认为它相对于其他页面越重要。这时候你就需要开始优化你的抓取预算了。

如何优化抢预算？

为了优化您的爬网预算并确保您最重要的页面得到应有的关注，您可以分析服务器日志并查看您的网站是如何被爬网的:

主页被抓取的频率。

查看被抓取的重要页面是否比其他更重要的页面更重要？

机器人在抓取你的网站时是否经常收到4xx或者5xx的错误？

机器人遇到什么蜘蛛陷阱了吗？

通过分析您的日志，您会发现您认为不太重要的页面正在被大量抓取。然后，你需要深入了解内部的链接结构。如果它被抓取，它必须有许多链接。

抓取VS获取？

和抓取是两个不同的目的不同的用途。crawler遵循您设置的规则，并在扫描内容时找到链接。然后，爬虫将移动到另一个页面，等等。

另一方面，收集是对页面进行扫描，从中收集特定的数据:title标签、meta描述、h1标签或者网站的特定区域，比如价目表。集合通常充当“人类”，他们会忽略robots.txt文件中的任何规则，以表格形式存档并使用浏览器用户代理，以免被检测到。

搜索引擎爬虫通常充当爬虫，它们需要收集数据以便为它们的排名算法处理数据。与收集相比，他们不寻找特定的数据，他们只是使用页面上所有可用的数据，甚至更多。搜索引擎爬虫将总是把自己标识为爬虫，以便网站所有者可以知道他们最后一次访问他们的网站的时间。当你追踪真实的用户活动时，这是非常有用的。

因此，如果您了解爬行及其工作原理，下一步应该是分析服务器日志。这将为您提供关于机器人如何与您的网站交互、它们经常访问的网页以及访问您的网站时遇到的错误的深入见解。