Python爬虫：如何在一个月内学会爬取大规模数

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。

对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……

但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1学习 Python 包并实现基本的爬虫过程

2了解非结构化数据的存储

3学习scrapy，搭建工程化爬虫

4学习数据库知识，应对大规模数据存储与提取

5掌握各种技巧，应对特殊网站的反爬措施

6分布式爬虫，实现大规模并发采集，提升效率

- -

学习 Python 包并实现基本的爬虫过程

大部分Python爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

Python爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。

当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

- -

了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。

开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。

- -

学习 scrapy，搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。

学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

- -

学习数据库基础，应对大规模数据存储

爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。

MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，的链接等等。你也可以利用PyMongo，更方便地在Python中 *** 作MongoDB。

因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

- -

掌握各种技巧，应对特殊网站的反爬措施

当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。

- -

分布式Python爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了，用于做基本的

花了几天的时间读了一本腾讯的产品经理推荐的《启示录：打造用户喜爱的产品》，从当当网上拿到此书，一看序言，原来是大名鼎鼎的《人人都是产品经理》的苏杰和《结网》的作者、糗事百科的创始人王坚征集的译者，顿时心中充满了期待。一口气看下去，大呼过瘾。结合之前自己带着团队做产品的经历，感慨自己过去走了多少弯路，甚至有时候发现，自己总结的方法在这本书中也有体现，成就感油然而生。我认为这本书，秒杀了世面很多写如何做产品的书籍，看了当当网的评价，也是五星的。另外一本五星的书籍，就是《Tapworthy》，讲的是关于移动应用用户体验的书籍。本系列是我读此书的读后感，结合自己做产品的教训和此书给我的启示。第一篇是如何组建一个团队，开发一个产品，它应该有哪些部分组成。

首先是产品团队，产品团队一般由产品经理、交互设计师、视觉设计时，大的公司还有专们的用研（用户研究）。自从乔布斯掀起了大家对用户体验的重视之后，各个大公司也都非常重视用户体验这块，比如百度、淘宝的UED部门，腾讯的CDC。你如果对交互、视觉设计有自己独到的见解，可以考虑去这些部门，一般做交互和UI的都是工业设计专业出身的，当然也有不是，关键是你的兴趣。笔者的认识的小俞，虽然是一个名不见经传的三本学校的学生，今年才大三，但是因为他对于交互设计非常有兴趣，经常对一些APP进行体验，然后分析他的交互设计，大一大二的时候他就帮过很多创业团队做过产品的原型设计包括大名鼎鼎的美图秀秀，IPHONE版的交互是他做的。大三的时候，他更是加入了国内最好的设计公司EICO DESIGN，成为一名国内最优秀的交互设计师之一。交互设计师在团队中的作用非常重要，优秀的交互设计师甚至可以做CEO，因为他需要对产品的业务逻辑理解的很清楚，才能够设计出简洁又能抓住用户的设计。简单来说，你要对某个功能的按钮放在哪，经过几级 *** 作达到用户想要做的 *** 作很清楚。视觉设计师就是大家俗称的"美工”，她应该对什么样的色彩能够让用户兴奋很有研究，好的视觉设计师是需要具有心理学的基础的。最后，说说产品团队中最重要的产品经理，产品经理的职责主要分为两项：评估产品机会和定义要开发的产品，比如公司高管、团队的中的人提出了一些点子，产品经理需要评估这些建议采纳不采纳。确定要做某个产品后，产品经理还需要探索产品的解决方案，包括基本的产品特征和功能、产品的用户体验、产品的发布标准。这里面我建议，小的团队采用高保真原型，而不是需求文档，文档容易说不清楚。用AXTURE做出高保证原型，然后和开发团队评估能不能实现，及时修改，最后确定一个最终的开发原型，然后交给产品团队进行开发。

原型有了，开发团队就可以进行开发了。对于互联网的开发团队，一般分为服务端、客户端，服务端分为后台和前端。对于小团队，一般用PHP和MySQL迅速做出第一版，大公司用PHP的也比较多，一般是由于早期用这个比较快。但是后面随着访问量越来越大，PHP的性能支持不了。就需要用C语言重写PHP和MYSQL的底层，FACEBOOK就是这么干。像淘宝的话，一般是用Java写服务端，性能更好一些，企业级开发用J2EE较多，数据库用Oracle。最近比较流行的PHYTHON，RUBY ON RAILS，也都是有各自的优缺点。客户端主要是Android、iphone和wp7等移动客户端的开发。开发团队，主要是从技术层面来实现产品。在TEAM中的作用也是举足轻重，毕竟，如果产品都实现不了，用户都用不了，还谈什么用户体验呢所以，开发工程师的薪水往往高于产品人员，但是产品人员经过历练，将来是可以做CEO来主导创业的。当然，做过开发的产品经理是最厉害的。周鸿祎曾经是非常好的程序员，他曾经很快就看出了西电学生时代很出名的林锐写的一个十万行的程序的架构问题。腾讯最优秀的产品经理张小龙曾经也是最牛的程序员之一，他曾经一个人写出了foxmail，现在正热的腾讯战略级产品微信就出自他之手。马化腾也建议腾讯的产品经理先从技术做起，最好前端后台都做过。开发团队的核心人物是项目经理，他的核心人物是制定出计划和跟踪进度，如果团队比较小，这个角色也可能由产品经理来兼任。

产品做出来了，就需要有人来运营它，这就涉及到了运营团队的组建。运营团队负责对外发布信息、宣传产品，为拓展市场销售渠道、组织重点营销互动、促进产品销售支持。对于互联网产品的话，比如APP的运营，你需要写软文来推广产品。寻求主流的科技博客的报道，比如36KR，THECH2IPO的报道。甚至你需要花一些钱，在一些广告平台上进行推广，比如GOOGLE ADSENSE，国内的话有多盟、力美、果合、ADVIEW等广告平台。还有一块就是官方微博的运营，现在大公司越来越重视这块了。在官微上发表活动的信息，来吸引粉丝的参加。

对于大公司来说，还有会专门的运维团队，小团队的话，一般由开发团队来兼任。简单的来说，因为互联网产品通常运行在服务器上，用户是通过WEB来访问服务。运维团队需要保证服务来正常运行。比如大家看到的睿思BT，他们的服务器一旦出了问题，就会有人来抢修。虽然有些公司将这项任务交给开发团队负责，但是运维工作需要一系列的专业技能，很难由开发团队单独承担。

以上是看完此书对于组建一个产品团队的看法，它应该由哪些部分组成，也许其中难免有些疏漏，欢迎大家拍板砖，笔者非常欢迎这样的交流。后面还会写一些其他的读后感，也算是为自己梳理思路。

你不能直接存储一个类的实例啊，mongodb用bson存储数据，bson是json的binary形式，所以你只能存储javascript的基本类型、Object和Array这些东西。像beautiful soup里面的类的实例，你可以存储关键的数据，到你再需要用的时候，取出数据再构造一个新实例，而不是把这个实例存入数据库。

这个需要后台交互才能实现，比如：在第一次点击按钮的时候，在后台记录点击的状态，在初始化界面的时候，根据记录的状态 去判断设置按钮是否可用。纯界面做的话，界面刷新后按钮又恢复到之前的状态了。

从工作上应用于：Python开发、Python爬虫、大数据;

从生活上，爬虫为我们增添了很多生活乐趣、便利了日常，比如说数据分析、简单地几行代码可以处理上千条Excel数据等等。

Python开发

自动化测试、自动化运维、WEB开发(网站开发)、人工智能都属于Python开发。

自动化测试——用Python编写简单的实现脚本，运用在Selenium/lr中，实现自动化。

自动化运维——Python对于服务器运维很重要。

目前几乎所有Linux发行版中都自带了Python解释器，以使用Python脚本进行批量化的文件部署，和运行调整~

而且Python提供了全方位的工具集合，结合Web，开发方便运维的工具会变得十分简单。

WEB开发——Python最火的WEB开发框架Django在业界非常流行，其中的设计哲学也常用于其它程序语言设计的框架~

如果是网站后端，使用它单间网站，后台服务比较容易维护。如我们常看到的：Gmail、知乎、豆瓣等~

人工智能更是现在非常火的方向，现在释放出来的几个非常有影响力的AI框架，大多是Python的实现的。

Python爬虫

在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生。

不过这可不止我们日常的抓取数据和解析数据那些简单，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。

大家也可以去网上搜索别人通过爬虫做了什么有趣的事情：

“用Python写的第一个程序，是爬取糗事百科上的、自动下载到本地、自动分成文件夹保存，当时就觉得，卧糟，太NB了~”

“智联招聘爬虫，支持输入查询的职位关键词+城市。并将爬取到的数据分别用Exce和Python(matplotlib)做了数据分析及可视化……”

“尝试爬取京东热卖、淘宝淘抢购(还是聚划算)的商品信息，没想到还挺简单的，主要是没做什么防爬虫措施……”

Python大数据

数据是一个公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务。

Python的工具链为这项繁重的工作提供了极高的效率支持，数据分析建立在爬虫的基础上，我们便捷地爬下海量数据，才能进行分析。

以上就是关于Python爬虫：如何在一个月内学会爬取大规模数全部的内容，包括:Python爬虫：如何在一个月内学会爬取大规模数、启示录打造用户喜爱的产品读后感怎么写、python写了一个爬虫，内容储存到mongodb数据库，遇到一个错误不知怎么改，求大神帮忙等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！