html语言与网络爬虫之间是什么关系

网络爬虫一般是指搜索引擎的一个网站探测系统 它会按照自己的算法抓取互联网上所有网站的信息 然后加以整理归类 他的最主要的抓取方式是通过抓取网页的HTML代码 然后从HTML代码中筛选一些有用的信息来记录 而筛选最主要的方式就是根据HTML标签进行筛选比如HTML中的<title></title>这个标签的意思就是网页标题 这个对一个搜索引擎来说很重要所以爬虫会记录下来再比如<script></script>这个是网页中的一个动态效果 这个对搜索引擎意义不大所以会过滤掉还有一些像是<h1></h1>、<h2></h2>、<h3></h3>、<h4></h4>这些都是网页中的标题（和<title></title>不一样 这个可以理解为是整个文档的标题） 它们分别代表的是一级标题、二级标题、三级标题、四级标题 起到的作用也是越来越小 所以搜索引擎在这几个标签里会优先抓取<h1></h1>的内容 而后几个标签就有可能被过滤掉不知道这么说你能不能明白

网络爬虫(又被称为网页蜘蛛，网络机器人)就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。

为什么我们要使用爬虫？

互联网大数据时代，给予我们的是生活的便利以及海量数据爆炸式地出现在网络中。

过去，我们通过书籍、报纸、电视、广播或许信息，这些信息数量有限，且是经过一定的筛选，信息相对而言比较有效，但是缺点则是信息面太过于狭窄了。不对称的信息传导，以至于我们视野受限，无法了解到更多的信息和知识。

互联网大数据时代，我们突然间，信息获取自由了，我们得到了海量的信息，但是大多数都是无效的垃圾信息。

例如新浪微博，一天产生数亿条的状态更新，而在百度搜索引擎中，随意搜一条——减肥100.000.000条信息。

通过某项技术将相关的内容收集起来，在分析删选才能得到我们真正需要的信息。

这个信息收集分析整合的工作，可应用的范畴非常的广泛，无论是生活服务、出行旅行、金融投资、各类制造业的产品市场需求等等……都能够借助这个技术获取更精准有效的信息加以利用。

网络爬虫技术，虽说有个诡异的名字，让能第一反应是那种软软的蠕动的生物，但它却是一个可以在虚拟世界里，无往不前的利器。

爬虫网址使用爬虫工具复制。

网络爬虫采集数据主要是用于数据分析的，复制网站有几个问题解决不了，下载下来的html，里面含有的超链接之类的，如果是相对网址，复制软件应该根据存放位置做相应替换，这个功能网络爬虫就没有，网页样式，比如，csss文件，应该也做相应的保存，而且也要替换网址，这个功能爬虫也没有，可以下载整个html文档，存成一个xml文件，把一些辅助性的标签去掉以后，就是原始的html文件。

---