随着大
数据时代的来临和Python编程语言的火爆,Python数据分析早已成为现在职场人的必备核心技能。那么利用Python数据分析可以做什么呢?简单来说,可以做到的内容有很多,比如检查
数据表、数据表清洗、数据预处理、数据提取和数据筛选汇总等等。下面来为大家详细讲解一下这些用处。1、检查数据表Python中使用shape
函数来查看数据表的维度,也就是行数和列数。你可以使用info函数查看数据表的整体信息,使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数,你可以对整个数据表进行检查,也可以单独对某一列进行空值检查,返回的结果是逻辑值,包含空值返回True,不包含则返回False。使用unique函数查看唯一值,使用Values函数用来查看数据表中的数值。2、数据表清洗Python中处理空值的方法比较灵活,可以使用Dropna函数用来删除数据表中包含空值的数据,也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数,与之对应的是astype函数,用来更改数据格式,Rename是更改列名称的函数,drop_duplicates函数删除重复值,replace函数实现数据替换。3、数据预处理数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作,主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并,合并的方式为inner,此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序,使用where函数完成数据分组,使用split函数实现分列。4、数据提取主要是使用三个函数:loc、iloc和ix,其中loc函数按标签值进行提取,iloc按位置进行提取,ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外,还可以按具体的条件进行数据,比如使用loc和isin两个函数配合使用,按指定条件对数据进行提取。5、数据筛选汇总Python中使用loc函数配合筛选条件来完成筛选功能,配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数,使用方法很简单,制定要分组的列名称就可以,也可以同时制定多个列名称,groupby 按列名称出现的顺序进行分组。以上就是总结的利用Python数据分析的用处,大家都记住了吗?既然学习Python数据分析的用处这么多,大家赶紧学习来吧!相信对大家未来的学习和工作,都会有不小的帮助。
介绍
前几天做了个抓手机号的爬虫,这两天没啥事就学了学java swing,然后想着给蛇画俩腿,额 是给那个小程序做个界面。
大概组件怎么用,布局怎么用,照着书上学了个大概,就迫不急待的动手了,今天终于做成了。记录一下过程,以后要是忘记,可以回来看看。
成品图:
从python开始
那么就从python爬虫开始吧。毕竟python一共也没学多长时间,记录一下,以后忘了还能来看看。
我安的2.7版本python,安装很简单一路下一步就安好了,环境变量配置留个备份。
然后下了个社区版的PyCharm,就可以正式开始了。
这就写好了,pages决定抓这个网站几页的手机号。
[python] view plain copy
# coding: UTF-8
import re
import requests
def write(page):
r = requests.get("hm/more.php?page="+str(page))
result = re.findall('target=_blank>(.*?)</A>',r.content)
if(len(result)>0):
tempfile = open("mobile.txt",'a')
for i in result:
print (i + "")
tempfile.write(i + "")
tempfile.write("\n")
tempfile.close()
pages=10
for i in range(0,pages+1):
write(i)
requests是需要安装的,打开cmd,命令:pip install requests,就ok了,要是pip用不了那就是python环境变量没搭好。
这几行代码没啥好说的,requests用法网上就有,正则挺麻烦的,好在原来看过个视频讲过这个贪心算法(.*?)挺好使的。暂且先用着把,等我以后成长到适当水平在来研究它,现在需要学的东西多着呢,就不跟它耗着了。
这个网站每页100条,抓了10页的数据:
嗯 这个小程序就写好了,下篇写java界面吧。我总怕看太长的文章,所以就这样结束把。
评论列表(0条)