Python数据分析入门笔记1——学习前的准备
Python数据分析入门笔记系列文章目录前言一、用pandas读取文件
1. 从CSV和TXT文件中读取数据2.从Excel文件中读取数据 二、用pandas解析数据
1.pandas三大结构介绍2.Dataframe的常用属性和方法(Series类似不表)3.Dataframe中的条件查找——布尔索引4.Dataframe的修改(暂时不需要,先忽略)5.Dataframe的分组和聚合 三、小测验(答案放到下一篇博客末尾)总结
前言
快速入门pandas,认识pandas三大结构Series、Dataframe和Panel中的前两种,知道读取文件,并且按行或者按列有选择性地查找数据。
一、用pandas读取文件
pandas可以读取CSV和TXT文件中的数据,可以获取Excel、JSON、HTML、Word和PDF文件中的数据,也可以从数据库中获取数据。这里只列出常用的CSV和TXT文件、Excel文件的读取方法。
1. 从CSV和TXT文件中读取数据csv是一种逗号分隔的文件格式,但其分隔符不一定是逗号。可用记事本或excel打开。
csv文件使用read_csv()函数来读取。
最简单的举例:
import pandas as pd #注意:如果文件中包含中文,必须加上encoding data = pd.read_csv('d://分省份GDP数据.csv', encoding='gbk') print(data.columns)#返回所有的列名对象,相当于字典的键名,默认把第0行作为列名 print(data.values)#返回所有的行
read_csv()函数语法格式如下,参数说明如下表所示。
pandas.read_csv(filepath_or_buffer, sep=’,’, header=‘infer’, names=None, index_col=None, dtype=None, engine=None,nrows=None,encoding=None)
尚待解决的问题:
Pandas提供了read_excel()函数来读取“xls”和“xlsx”两种Excel文件。
最简单的举例:
import pandas as pd #注意read_excel方法中没有encoding参数 df=pd.read_excel("D://Projects/2019年底江苏省A级景区名录.xlsx",sheet_name=0,index_col=0) print(df.columns)#返回所有的列名对象,相当于字典的键名,默认把第0行作为列名 print(df.values)#返回所有的行
read_excel()函数语法格式如下,参数说明如下表所示。
pandas.read_excel( filepath, sheetname=0, header=0, names=None, index_col=None, dtype=None ,nrows=None)
Series(系列)
一维数组,与NumPy中的一维array类似。Series可以保存不同数据类型,如字符串、boolean值、数字等。如果传入的数据类型不统一,最终的dtype通常是object。 Dataframe(数据帧)
二维的表格型数据结构,可以将Dataframe理解为Series的容器。(类似Excel的工作表吗?)Dataframe的单列数据为一个Series。 Panel(面板)
三维的数组,可以理解为Dataframe的容器。(类似Excel的工作簿吗?)内置了十几种数据源读取函数和对应的数据写入函数。 2.Dataframe的常用属性和方法(Series类似不表)
Dataframe是最常用的Pandas对象,类似于Office Excel表格。完成数据读取后,数据就以Dataframe数据结构存储在内存中。但此时并不能直接开始统计分析工作,需要使用Dataframe的属性与方法对数据的分布、大小等进行 *** 作。
假设有一个Dataframe名为df,且数据如下:
(1)假设我读取的时候,不指定行索引,参考代码如下:
import pandas as pd #导入pandas库 df=pd.read_csv("D://Projects/示例.csv",encoding="gbk") #以中文编码形式读取D盘Projects文件夹下的“示例.csv”文件
则属性与方法说明如下:
说明:由于直接从csv文件中读取数据,未设置行索引,所以会认为csv文件没有行索引,会从0开始递增添加索引。
说明:即4行数据,一共5列
说明:即数据是二维的
说明:4行5列所以一共20个元素
说明:行号列号都从0开始,所以[1,1]取的是第二行第二列的数据,也就是李四
Index([‘学号’, ‘姓名’, ‘性别’, ‘年龄’, ‘住址’], dtype=‘object’)]
#统计Dataframe中各列非空值的数量,方便对空值进行处理
(2)假设我读取的时候设置了行索引,参考代码如下:
import pandas as pd #导入pandas库 #index_col=0,代表将数据的第一列“学号”作为行索引,也就是根据学号可以唯一地找到这一行。 #但设置行索引以后,再用values、size输出会得到不一样的结果。为什么? df=pd.read_csv("D://Projects/示例.csv",encoding="gbk",index_col=0)
#使用布尔索引获取部分数据行,df['年龄']>df['年龄'].mean()的意思是年龄值大于平均值 df[df['年龄']>df['年龄'].mean()]
执行结果:
- 修改列名、行索引名列的添加append、删除drop和插入insert
按某一列来分组:groupby(‘用来分组的列名’)
按多列来分组:groupby([‘列名1’,‘列名2’,‘列名3’])
df.groupby('性别')#按性别分组 df.groups #查看分组,输出结果{'女': ['S3'], '男': ['S1', 'S2', 'S4']} df.groupby(['性别','年龄']) #按性别和年龄组合来分组,性别和年龄都相同的才会分到同一组 df.groups #查看分组,输出结果{('女', 15): ['S3'], ('男', 14): ['S4'], ('男', 15): ['S1'], ('男', 16): ['S2']}三、小测验(答案放到下一篇博客末尾)
有如下excel文档“2019年底江苏省A级景区名录.xlsx”,完成以下任务:
文档下载地址:2019年底江苏省A级景区名录.xlsx
用pandas的read_excel()方法读取这个文件,并将第一列序号作为行索引,并输出文件内容
用columns获取列索引,即输出表头
统计各市入选的景点个数,输出结果如图:
按所在地市进行分组,分别统计4A、3A、2A景区的数量,部分输出结果如图所示:
按景区等级分组,分别统计各等级中各地市的分布情况。部分输出结果如图:
欢迎补充其他应用场景!
总结
- pandas读取csv和excel文件通过Dataframe查看数据,多种查看方式
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)