什么是爬虫？什么是爬网？有什么区别？

多次被人问到这个问题，看来需要做一点说明，这里简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。
说的简单易懂一些，网络爬虫跟你使用的〖离线阅读〗工具差不多。说离线，其实还是要跟网络联结，否则怎么抓东西下来？
那么不同的地方在哪里？
1 网络爬虫高度可配置性。
2 网络爬虫可以解析抓到的网页里的链接
3 网络爬虫有简单的存储配置
4 网络爬虫拥有智能的根据网页更新分析功能
5 网络爬虫的效率相当的高
那么依据特征，其实也就是要求了，如何设计爬虫呢？要注意哪些步骤呢？
1 url 的遍历和纪录
这点 larbin 做得非常的好，其实对于url的遍历是很简单的，例如：
cat [what you got]| tr \" \\n | gawk '{print $2}' | pcregrep ^>网络爬虫，是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。一般人能访问到的网页，爬虫也都能抓取。所谓的爬虫抓取，也是类似于我们浏览网页。但与普通人上网方式不同，爬虫是可以按照一定的规则，自动的采集信息。
举个例子，比如说你从事的是文字编辑工作，需求稿件量大，可是效率很低，最大的一个原因便是很多的时间花费在了采集资料上，假如继续按照之前手动浏览的方式，要么就是你通宵达旦熬夜加班，要么便是让其他人帮你，但显然两者都不方便。这种情况下，网络爬虫就显得很重要。
随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。
我们感兴趣的信息分为不同的类型：如果只是做搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页；如果要获取某一垂直领域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需求所定位的这些信息，此时，需要过滤掉一些无用信息。前者我们称为通用网络爬虫，后者我们称为聚焦网络爬虫。

---