爬虫可以爬到服务器的数据吗

实际上，在网络应用中，Web服务器通常不会直接将自己的数据提供给用户。通常，它们会将数据存储在数据库中，并提供一个API(>以访问网页为例，我们在B站首页输入“夏目友人帐”点击搜索来到下方页面，我们可以在 "Chrome" 的 Network 视图点击某一资源查看该资源对应请求的 Headers 头信息。

编写网络爬虫需要模拟浏览器向服务器发起请求，比如我们设置了头信息中的Cookie等头信息，这样服务器就会以为我们是通过浏览器登录账户进行访问的，不会把我们列入机器人爬虫，一定程度上可以反爬虫。

需要关注 Request Headers 主要有下图中红色框选中的部分。
同理，我们可以查看到服务器响应返回的头信息知道响应结果的编码是utf-8，有的还可以看到服务器所用是apache或是其他web服务器。

1、网络爬虫就是为其提供信息来源的程序，网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。

2、搜索引擎使用网络爬虫抓取Web网页、文档甚至、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。网络爬虫也为中小站点的推广提供了有效的途径。

：

网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。

搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

（1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。中文名网络爬虫外文名 web crawler 别称网络蜘蛛目的按要求获取万维网信息产生背景随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如： (1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

如果是让我写，我优先选用selenium(chromedriver)，模拟正常浏览。效率低很多，但是数据靠谱。

爬虫与反爬，就像生存与死亡，是一个值得考虑到问题。

写爬虫，目的是获得数据。如果是简单、无争议公开的数据，只要不对服务器造成压力，方法都不重要。但往往要获取的数据，很多情况下对方都不希望通过爬虫自动化轻易得到。这时候，双方工程师、甚至是律师就要博奕了。

红方：基于数据统计、机器学习的方法，判断区别与常人浏览的途径很多。

蓝方：针对红方的可能手段，也有很多途径。所谓上有政策，下有对策。比如维护一个IP池自动切换。博奕，说白了就是斗争。没有永远胜利的一方。花费精力写一个专业爬虫，但这个爬虫可能也需要维护的。个人觉得不值得，应该想想其他方式。

专业爬虫，核心不会用python写的

大前端的语言，js+抓包分析是更加胜任爬虫的语言。一是爬取的数据，大部份都是来自网站或APP。用原汁原味的js，再对口不过。同时，效率会更高。据我所知，很多竞争对手爬取对方的价格，基本都绕不开js。用python会适得其反。

说个反爬的损招

通过nginx配置，能实现简单的反爬，这里说一个损招。

一般对方爬取我方数据时，我们都会设置路障，比如要求对方输入手机验证码、识别、或者告知，请24小时候再来访问。

不妨反其道而行之，如果能确认对方是爬虫，不要阻止对方来爬取，二是造随机数据给对方爬。数据伪装成什么样，可以灵活控制。可以80%假，20%真。或者比例反过来。甚至比例可以随机。这种方法可以捉弄对方的工程师。

最后友情提醒，爬虫有风险，码农要谨慎。

---