从python基础到爬虫的书有什么值得推荐

《Python3爬虫入门到精通课程视频附软件与资料34课时--崔庆才》百度网盘资源免费下载

zxcv

Python3爬虫入门到精通课程视频附软件与资料34课时--崔庆才|章节5： 分布式篇|章节4： 框架篇|章节3： 实战篇|章节2： 基础篇|章节1： 环境配置|Python3爬虫课程资料代码zip|2018-Python3网络爬虫开发实战-崔庆才pdf|课时06：Python爬虫常用库的安装zip|课时05：Python多版本共存配置zip|课时04：MySQL的安装zip|课时03：Redis环境配置zip|课时02：MongoDB环境配置zip|课时01：Python3+Pip环境配置zip|课时13：Selenium详解zip    

三月份到四月初花了很长的时间看了一本小说—《明朝那些事儿》，几乎一整个月的时间都在看，越看越入迷，这就是小说的魅力吧。

故事从朱元璋的乞讨要饭开始，经过不断地残酷战争，击败各种对手，建立了明朝；再到后来燕王朱棣起兵造反，接着戚继光抗击倭寇；后来又有明朝出现了最有名的内阁首辅大臣—张居正，大刀阔斧地进行改革，明朝进入鼎盛时期；最后清朝入关，明朝还是败在了崇祯的手上，准确的说是：注定会败在他的手上。正如文中写到的那样：

书讲述的不仅仅是历史， 权利、希望、痛苦、气节、孤独、残暴、邪恶、忍耐、坚持、真理、忠诚 ……在书中样样都有。在书的最后，作者写了一首诗，摘录在这里：

本文介绍的如何使用Python爬取一个网站上关于这本书的部分章节。

网站首页： https://wwwkanunu8com/

爬取主链接： https://wwwkanunu8com/files/chinese/201102/1777html

1、章节标题

2、章节正文内容

以第一章为例：我们点击“第一章 童年”可以进入第一章的正文部分。

看看最终爬取到的数据。在 本地目录 下生成的一个文件夹：《明朝那些事儿》下面就有我们爬取到的33个章节的内容，包含前言和引子部分。

在本次爬虫中使用到的相关库

分析一下网页的规律

发现了规律：每个章节的页面都有自己的URL后缀加以区分。看下网页源码找出URL地址：

上面已经发现了每个章节的URL地址的后缀

正则写的不太好，地址还需要切片一次

首页源码返回内容解析的结果：

切片之后的有效URL地址：

之前在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是晚上花了几个小时的时间写了个爬虫，爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据，网页如下：

心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。

但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得。

从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。

导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量，执行该 *** 作需要通过如上图中的历史查询实现，即通过一个时间来查询，而这个时间存放在一个hidden类型的input标签里，当然可以通过js语句将其改为text类型，然后执行send_keys之类的 *** 作。然而，我失败了。时间可以修改设置，可是结果如下图。

为此，仅抓取实时数据。选取python的selenium，模拟搭建浏览器，模拟人为的点击等 *** 作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码，即执行 *** 作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互。selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpath("xxx")，通过该方式查找到元素后可执行点击、输入等事件，进而向服务器发出请求，获取所需的数据。

[python] view plain copy

# coding=utf-8  

from testString import   

from selenium import webdriver  

import string  

import os  

from seleniumwebdrivercommonkeys import Keys  

import time  

import sys  

default_encoding = 'utf-8'  

if sysgetdefaultencoding() != default_encoding:  

reload(sys)  

syssetdefaultencoding(default_encoding)  

district_navs = ['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']  

district_names = ['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']  

flag = 1  

while (flag > 0):  

driver = webdriverChrome()  

driverget("hianCe/")  

# 选择降雨量  

driverfind_element_by_xpath("//span[@id='fenqu_H24R']")click()  

filename = timestrftime("%Y%m%d%H%M", timelocaltime(timetime())) + 'txt'  

#创建文件  

output_file = open(filename, 'w')  

# 选择行政区  

for i in range(len(district_navs)):  

driverfind_element_by_xpath("//div[@id='" + district_navs[i] + "']")click()  

# print driverpage_source  

timeElem = driverfind_element_by_id("time_shikuang")  

#输出时间和站点名  

output_filewrite(timeElemtext + ',')  

output_filewrite(district_names[i] + ',')  

elems = driverfind_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")  

#输出每个站点的数据，格式为：站点名，一小时降雨量，当日累积降雨量  

for elem in elems:  

output_filewrite(AMonitorRecord(elemget_attribute("title")) + ',')  

output_filewrite('\n')  

output_fileclose()  

driverclose()  

timesleep(3600)  

文件中引用的文件testString只是修改输出格式，提取有效数据。

[python] view plain copy

#Encoding=utf-8  

def OnlyCharNum(s, oth=''):  

s2 = slower()  

fomart = 'abcdefghijklmnopqrstuvwxyz0123456789,'  

for c in s2:  

if not c in fomart:  

s = sreplace(c, '')  

return s  

def AMonitorRecord(str):  

str = strsplit(":")  

return str[0] + "," + OnlyCharNum(str[1])  

一小时抓取一次数据，结果如下：

　　从工作上应用于：Python开发、Python爬虫、大数据;

　　从生活上，爬虫为我们增添了很多生活乐趣、便利了日常，比如说数据分析、简单地几行代码可以处理上千条Excel数据等等。

　　Python开发

　　自动化测试、自动化运维、WEB开发(网站开发)、人工智能都属于Python开发。

　　自动化测试——用Python编写简单的实现脚本，运用在Selenium/lr中，实现自动化。

　　自动化运维——Python对于服务器运维很重要。

　　目前几乎所有Linux发行版中都自带了Python解释器，以使用Python脚本进行批量化的文件部署，和运行调整~

　　而且Python提供了全方位的工具集合，结合Web，开发方便运维的工具会变得十分简单。

　　WEB开发——Python最火的WEB开发框架Django在业界非常流行，其中的设计哲学也常用于其它程序语言设计的框架~

　　如果是网站后端，使用它单间网站，后台服务比较容易维护。如我们常看到的：Gmail、知乎、豆瓣等~

　　人工智能更是现在非常火的方向，现在释放出来的几个非常有影响力的AI框架，大多是Python的实现的。

　　Python爬虫

　　在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生。

　　不过这可不止我们日常的抓取数据和解析数据那些简单，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。

　　大家也可以去网上搜索别人通过爬虫做了什么有趣的事情：

　　“用Python写的第一个程序，是爬取糗事百科上的、自动下载到本地、自动分成文件夹保存，当时就觉得，卧糟，太NB了~”

　　“智联招聘爬虫，支持输入查询的职位关键词+城市。并将爬取到的数据分别用Exce和Python(matplotlib)做了数据分析及可视化……”

　　“尝试爬取京东热卖、淘宝淘抢购(还是聚划算)的商品信息，没想到还挺简单的，主要是没做什么防爬虫措施……”

　　Python大数据

　　数据是一个公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务。

　　Python的工具链为这项繁重的工作提供了极高的效率支持，数据分析建立在爬虫的基础上，我们便捷地爬下海量数据，才能进行分析。

Python很适合做爬虫，丰富的第三方库十分强大，几行代码便可实现你想要的功能，常用的架构有以下几个：

1、Scrapy

提取结构性数据而编写的应用框架Scrapy。 主要应用在数据挖掘，信息处理、存储历史数据等程序。

2、Beautiful Soup（bs4）

可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档。

3、selenium

自动化测试工具Selenium，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流浏览器。

4、Portia

可视化爬虫工具Portia，基于scrapy内核，可视化爬取内容。

5、cola

分布式的爬虫框架cola，任务会自动分配到多台机器上。

6、PySpider

纯国产框架PySpider

APP ANNIE里的的APP历史排名怎么用爬虫爬下来？

如图，敢问各位大神 怎么才能把APP ANNIE 历史排名图上的值爬下来？

尝试一：右上角的“输出”没法用。需要付费用户才能用。

尝试二：试过用API，同样用户根本没权限访问"store stat"相关内容。

心里苦啊，求大神渡劫！