pandas专门为处理表格和混杂数据设计
import pandas as pd
from pandas import Series,DataFrame
Series 类似于一维数组+索引
data = pd.Series([1,2,3,4,5]) 生成Series数据
data.values data.index
pd.Series([1,2],index = ['a','b']) 设置索引
data['a'] 通过索引选取Series中单个或一组值
data[data%2==0] 进行类似numpy数组的运算index仍会保留
'a' in data
pd.Series(python字典) 可以通过python字典创建Series
可以通过设置index改变Series元素顺序
缺失值用NaN表示
pd.isnull(data) 检测缺失数据
pd.notnull
data1 + data2 可以根据索引自动对齐数据进行运算，类似join *** 作
data.name data.index.name 可赋值
index可以通过赋值方式修改
pd.DataFrame(XXX)传入元素为等长列表或np数组组成的字典可以生成DataFrame数据，字典key值为列名
frame.head() 前五行
pd.DataFrame(XXX, columns = [xxx], index = [xxxxx]) 可能产生NaN
frame['a'] 取列名为a的一列数据 等价于 frame.a（此时a需要是合理的变量名） 可以以列表形式取多列数据 返回的Series序列索引与原DataFrame相同
frame.loc[0] 行选取
可以用一个Series/值对某列赋值，需要长度相等
对不存在的列赋值可创建新列
del frame[列名] 删除列
通过索引方式返回数据视图，修改此返回数据也会影响源数据，Series.copy()可以创建副本
嵌套字典传给DataFrame，外层字典的键作为列名，内层键作为行索引
frame.T 转置
frame.reindex(新索引列表) 根据新索引重排，若索引值当前不存在则NaN
列可以用columns关键字重新索引
obj3 = pd.Series(['blue', 'purple', 'yellow'], index=[0, 2, 4])
obj3.reindex(range(6), method='ffill') ffill实现前向值填充
reindex可以修改（行）索引和列。只传递一个序列时，会重新索引结果的行，列可以用columns关键字重新索引
Series索引
series(索引列表/数值范围切片) 选取对应元素
19.1安装Anaconda
Anaconda是Python的一个开源发行版本，它预装了丰富的第三方库，而且主要面向科学计算和数据分析，使用起来要比原版的Python更省时省力。
Anaconda官方下载网址为：https://www.continuum.io/downloads。下载和安装的方法很简单，若有问题可以在网上搜索相关内容学习解决。
安装Anaconda之后，就会发现在Anaconda目录下同时安装了Jupyter Notebook、Spyder等工具，我们接下来主要使用Spyder进行开发。关于Spyder的使用方法非常简单，大家也可以去网上搜索学习。
虽然Anaconda已经预装了很多常用的包，但有时我们也需要自己安装一些包。可以在开始菜单中选择“Anaconda Anaconda Prompt”命令，在命令行输入conda install （ 代表包名）即可安装，也可以输入pip install 。
19.2数据分析包Pandas
Pandas是Python的一个数据分析包，Anaconda安装时已经附带安装了Pandas包。
Pandas数据结构有三种：Series（一维数组）、DataFrame（二维数组）和Panel（三维数组），其中最常用的是前两种数据结构。
19.2.1 Series
Series（序列）用于存储一行或一列数据，以及与之相关的索引的集合。
语法格式如下：
Series([数据1，数据2，......], index=[索引1,索引2,......])
例：
from pandas import Series
s=Series(['张三','李四','王五'],index=[1,2,3])
print(s)
输出结果如下：
1 张三
2 李四
3 王五
dtype: object
上面建立序列时指定了索引，若不指定，则默认的索引值从0开始。如下：
s=Series(['张三','李四','王五'])
输出结果为:
0 张三
1 李四
2 王五
dtype: object
索引值也可以为字符串。如下：
from pandas import Series
s=Series(['张三','李四','王五'],index=['A','B','C'])
print(s)
输出结果为：
A 张三
B 李四
C 王五
dtype: object
1、访问序列
（1）可以通过索引访问序列，如：
from pandas import Series
s=Series(['张三','李四','王五'])
print(s)
print(s[0])
print(s[1:])
运行结果如下：
0 张三
1 李四
2 王五
dtype: object #print(s)输出
张三 #print(s[0])输出
1 李四
2 王五
dtype: object #print(s[1:])输出
（2）通过值获取索引值
from pandas import Series
s=Series(['张三','李四','王五'],index=['A','B','C'])
print(s.index[s.values=='李四'])
运行结果：
Index(['B'], dtype='object')
（3）判断值是否存在
from pandas import Series
s=Series(['张三','李四','王五'],index=['A','B','C'])
f='李四' in s.values
print(f)
运行结果：
True
（4）定位获取
from pandas import Series
s=Series(['张三','李四','王五','孙六'],index=['A','B','C','D'])
print(s[[0,2,1]])
运行结果：
A 张三
C 王五
B 李四
dtype: object
2、修改序列
（1）追加序列，如：
from pandas import Series
s=Series(['张三','李四','王五'],index=['A','B','C'])
s1=Series(['孙六'],index=['D'])
s=s.append(s1)
print(s)
运行结果：
A 张三
B 李四
C 王五
D 孙六
dtype: object
（2）修改序列的值
from pandas import Series
s=Series(['张三','李四','王五','孙六'],index=['A','B','C','D'])
s[1]='李飞'
print(s)
运行结果：
A 张三
B 李飞
C 王五
D 孙六
dtype: object
不知道索引，仅知道要修改的值，也可通过值查找到索引后，再修改序列的值。如：
s[s.index[s.values=='李四']]='李飞'
这样也可以将“李四”修改为“李飞。
（3）修改索引
from pandas import Series
s=Series(['张三','李四','王五','孙六'],index=['A','B','C','D'])
s.index=[0,1,2,3]
print(s)
运行结果：
0 张三
1 李四
2 王五
3 孙六
dtype: object
（4）删除元素
from pandas import Series
s=Series(['张三','李四','王五','孙六'],index=['A','B','C','D'])
s=s.drop('A')
print(s)
运行结果：
B 李四
C 王五
D 孙六
dtype: object
（5）重新排序
可以按照索引排序，使用sort_index(ascending=True)方法对index进行排序 *** 作。
from pandas import Series
s=Series(['张三','李四','王五','孙六'],index=['A','B','C','D'])
s=s.sort_index(ascending=False) # ascending=False表示按降序排列
print(s)
运行结果：
D 孙六
C 王五
B 李四
A 张三
dtype: object
（6）重置索引
重置索引可以使用reindex()。如果index列表中的元素多于序列的值，可用fill_value=0这样的语句填充。
s=s.reindex(['D','C','B','A'])
如果index列表中的元素多于序列的值，可用fill_value=0这样的语句填充。
s=s.reindex(['D','C','B','A'], fill_value=0)
19.2.2 DataFrame
DataFrame（数据框架）用于存储多行和多列的数据集合。它是Series的容器，类似于Excel中二维表格。
定义一个DataFrame的语法格式如下：
df=DataFrame({列名1 : 序列1，列名2 : 序列2，.......列名n : 序列n}, index=序列 )
例如，有如下二维表：
姓名
性别
年龄
张三
男
18
李四
女
19
王五
男
17
保存到DataFrame中可以用如下方法：
from pandas import Series
from pandas import DataFrame
name=Series(['张三','李四','王五'])
sex=Series(['男','女','男'])
age=Series([18,19,17])
df=DataFrame({'姓名':name,'性别':sex,'年龄':age})
print(df)
运行结果：
姓名 性别 年龄
0 张三 男 18
1 李四 女 19
2 王五 男 17
从上例可以看出，虽然我们省缺了索引，但系统自动添加了从0开始的索引值。
19.3 DataFrame的基本 *** 作
1、访问方式
（1）获取行
print(df[1:2]) # 获取第1行的值
输出结果：
姓名 性别 年龄
1 李四 女 19
print(df[1:3]) #获取第1行到第2行的值
输出结果：
姓名 性别 年龄
1 李四 女 19
2 王五 男 17
（2）获取列
print(df['姓名']) #获取“姓名”列的值
输出结果：
0 张三
1 李四
2 王五
Name: 姓名, dtype: object
另一种方法：
print(df[df.columns[0:1]]) #先按照索引号获取列名，再按照列名读取
输出结果和上面的方法完全一致。
还有一种情况，是获取唯一值，即将列内的重复值中多余的删除，仅留下互不相同的值。所用的到方法是unique()。
sex1=Series(df['性别'].unique())
print(sex1)
输出结果：
0 男
1 女
dtype: object
（3）获取指定位置的值
print(df.at[1,'姓名']) # 格式为变量名.at[行号，列名]
输出结果：
李四
（4）获取块的值
print(df.iloc[0:2,1:3]) # 格式为变量名.iloc[行号1:行号2, 列号1:列号2]
输出结果：
性别 年龄
0 男 18
1 女 19
print(df.iloc[:,1:2]) #获取“性别”列的值
运行结果：
性别
0 男
1 女
2 男
2、修改、删除、增加行和列
（1）修改列名
print(df.columns)
df.columns=['name','sex','age']
print(df.columns)
输出结果：
Index(['姓名', '性别', '年龄'], dtype='object')
Index(['name', 'sex', 'age'], dtype='object')
可见，列名已经由“姓名、性别、年龄”修改为“age、sex、age”了。但这种修改必须把全部列名都一一列举，不能有遗漏，否则就会出错。如：
df.columns=['name','sex']
此时会报错：ValueError: Length mismatch: Expected axis has 3 elements, new values have 2 elements。
（2）修改行索引
df.index=[1,2,3]
（3）删除行
df.drop(1,axis=0) # axis=0表示行轴，也可以省略
（4）删除列
df.drop(‘性别’,axis=1) # axis=0表示列轴
也可以使用另一种方法：
del df['性别']
（5）增加列
df['电话']=['1111111','2222222','3333333']
print(df)
运行结果：
姓名 性别 年龄 电话
0 张三 男 18 1111111
1 李四 女 19 2222222
2 王五 男 17 3333333
（6）增加行
df.loc[len(df)]=['孙六','男','20']
（7）追加
from pandas import Series
from pandas import DataFrame
name=Series(['张三','李四','王五'])
sex=Series(['男','女','男'])
age=Series([18,19,17])
df=DataFrame({'姓名':name,'性别':sex,'年龄':age}) # 建立DataFrame，变量名为df
name1=Series(['孙六','候七'])
sex1=Series(['男','女'])
age1=Series([19,17])
df1=DataFrame({'姓名':name1,'性别':sex1,'年龄':age1})
# 建立DataFrame，变量名为df1
df=df.append(df1,ignore_index=True)
# 将对df1追加到df后面，参数ignore_index=True表示重新索引
print(df)
运行结果：
姓名 性别 年龄
0 张三 男 18
1 李四 女 19
2 王五 男 17
3 孙六 男 19
4 候七 女 17
可以对列进行运算，使用apply方法即可。
具体分析如下：
前提：加载numpy,pandas和Series,DataFrame，生成一个3乘3的DataFrame，命名为frame，用frame的第二列生成Series，命名为series1。
加法运算，frame.add(series1,axis=0)。减法运算：sub分别尝试不填充和填充，对比效果。
乘法运算，frame.mul(series1,axis=0)，除法运算，frame.div(series1,axis=0)。
这里的Series是DataFrame的一列生成的，所以不会出现找不到索引的情况；若找不到索引则生成并集，缺失值则表示为NAN，四则运算的括号中有个参数axis=0表示按行索引匹配并且在列上进行广播。
拓展：Python是目前最流行最简单用途最广泛的编程语言，大数据时代最应该学习的一门编程语言。其中，数据分析的库pandas是Python最经典的库之一。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）