人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典
数据科学家最常用的数据表格工具当属 pandas; 通过pandas表格,可以方便的展示表格(dataframe)和分析表格。而表格的格式设置不好,会影响分析效率。
所谓磨刀不误砍柴工,工欲善其事必先利其器, 下面大家了解一下常用的几种设置方法:
显示更多行
显示更多列
改变列宽
设置float列的精度
数字格式化显示
更改绘图方法
配置info()的输出
打印出当前设置并重置所有选项
1 显示更多行
默认设置,pandas 是不超出屏幕的显示范围的,如果表的行数很多,它会截断中间的行只显示一部分。有些时候,如果需要查看的数据的总行数不多,可以通过设置displaymax_rows来控制显示的最大行数,比如设置显示200行数据,从而一次性查看数据:
import pandas as pd
pdset_option('displaymax_rows', 200)
# 或者这样设置
# pdoptionsdisplaymax_rows = 200
登录后复制
但当数据的行数超过了displaymax_rows,那么displaymin_rows将确定显示的部分有多少行。因为displaymin_rows的默认行数为10,因此数据一般显示为前5行数据,和后5行数据。
同理,也可根据自己的习惯显示可显示的行数,比如20
pdset_option('displaymin_rows', 20)
# pdoptionsdisplaymin_rows = 20
登录后复制
如果需要恢复默认的设置,可以这样重置为默认情况:
# 重置
pdreset_option('displaymax_rows')
登录后复制
2 显示更多列
行可以设置,同样的列也可以设置,displaymax_columns控制着可显示的列数,默认值为20。
pdget_option('displaymax_columns')
# pdoptionsdisplaymax_columns
20
登录后复制
3 改变列宽
pandas对列中显示的字符数有一些限制,默认值为50字符。所以,有的值字符过长就会显示省略号。如果想全部显示,可以设置displaymax_colwidth,比如设置成500。
pdset_option ('displaymax_colwidth',500)
# pdoptionsdisplaymax_colwidth = 500
登录后复制
4 设置float列的精度
对于float浮点型数据,pandas默认情况下只显示小数点后6位。我们可以通过预先设置displayprecision让其只显示2位,避免后面重复 *** 作。
pdset_option( 'displayprecision',2)
# pdoptionsdisplayprecision = 2
登录后复制
这个设置不影响底层数据,它只影响浮动列的显示。
5 数字格式化显示
pandas中有一个选项displayfloat_formatoption可以用来格式化任何浮点列。这个仅适用于浮点列,对于其他数据类型,必须将它们转换为浮点数才可以。
用逗号格式化大值数字
例如 1200000 这样的大数字看起来很不方便,所以我们用逗号进行分隔。
pdset_option('displayfloat_format','{:,}'format)
登录后复制
设置数字精度
和上面displayprecision有点类似,假如我们只关心小数点后的2位数字,我们可以这样设置格式化:
pdset_option('displayfloat_format', '{:,2f}'format)
登录后复制
百分号格式化
如果我们要显示一个百分比的列,可以这样设置。
pdset_option('displayfloat_format', '{:2f}%'format)
登录后复制
6 更改绘图方法
默认情况下,pandas使用matplotlib作为绘图后端。从 025 版本开始,pandas提供了使用不同后端选择,比如plotly,bokeh等第三方库,但前提是你需要先安装起来。
设置很简单,只要安装好三方库后,同样只需要一行。
import pandas as pd
import numpy as np
pdset_option('plottingbackend', 'altair')
data = pdSeries(nprandomrandn(100)cumsum())
dataplot()
登录后复制
7 配置info()的输出
pandas中我们经常要使用info()来快速查看DataFrame的数据情况。但是,info这个方法对要分析的最大列数是有默认限制的,并且如果数据集中有null,那么在大数据集计数统计时会非常慢。
pandas提供了两种选择:
displaymax_info_columns: 设置要分析的最大列数,默认为100。
displaymax_info_rows: 设置计数null时的阈值,默认为1690785。
登录后复制
比如,在分析有 150 个特征的数据集时,我们可以设置displaymax_info_columns为涵盖所有列的值,比如将其设置为 200:
pdset_option('displaymax_info_columns', 200)
登录后复制
在分析大型数据集时,dfinfo()由于要计算所有null,导致速度很慢。因此我们可以简单地设置displaymax_info_rows为一个小的值来避免计数,例如只在行数不超过5时才计数null:
pdset_option('displaymax_info_rows', 5)
登录后复制
8 打印出当前设置并重置所有选项
pddescribe_option()将打印出设置的描述及其当前值。
pddescribe_option()
登录后复制
还可以打印特定的选项,例如,行显示。
# 具体的搜索
pddescribe_option('rows')
登录后复制
最后,我们还可以直接全部重置。
pdreset_option('all')
登录后复制
总结
以上就是常用set_option的使用,大家可以一次性设置如下:
pdset_option('displaymax_rows',xxx) # 最大行数
pdset_option('displaymin_rows',xxx) # 最小显示行数
pdset_option('displaymax_columns',xxx) # 最大显示列数
pdset_option ('displaymax_colwidth',xxx) #最大列字符数
pdset_option( 'displayprecision',2) # 浮点型精度
pdset_option('displayfloat_format','{:,}'format) #逗号分隔数字
pdset_option('displayfloat_format', '{:,2f}'format) #设置浮点精度
pdset_option('displayfloat_format', '{:2f}%'format) #百分号格式化
pdset_option('plottingbackend', 'altair') # 更改后端绘图方式
pdset_option('displaymax_info_columns', 200) # info输出最大列数
pdset_option('displaymax_info_rows', 5) # info计数null时的阈值
pddescribe_option() #展示所有设置和描述
pdreset_option('all') #重置所有设置选项
登录后复制
一维数组情况:
二维数组情况:
3参数情况:
2参数情况:
1参数情况:
一维情况:
二维情况:
一维情况:
二维情况:
一维情况:
二维情况:第三个参数指定维度
只查看行数、或者列数
逗号隔开两个索引
某些行
某些列
可以看出append()函数在二维数组中添加元素,结果转为了一维数组。
那怎么保持二维数组呢?可以设置axis参数按行或者按列添加
可以看出先把二维数组降成了一维数组,再在索引为1的位置添加元素。
那么怎么保持在二维添加元素呢? 同样设置axis参数
也分按行和按列删除
标记缺失值: isnan()函数
补充缺失值:
同样axis参数可以指定拼接按行还是按列
2 hstack()函数:以水平堆叠的方式拼接数组
3 vstack()函数:以垂直堆叠的方式拼接数组
第二个参数还可以是数组,指定拆分的位置
hsplit()函数:横向拆成几个数组
vsplit()函数:纵向拆成几个数组
数组与数组之间的运算
数组与数值的运算
可以指定整个数组求和,还是按行或者按列
axis=0:每一列的元素求和
axis=1:每一行的元素求和
axis=0:每一列求均值
axis=1:每一行求均值
axis=0:每一列求最大值
axis=1:每一行求最大值
pandas有两个重要的数据结构对象:Series和DataFrame。
Series是创建一个一维数组对象,会自动生成行标签。
会自动生成行列标签
也可以用字典形式生成数据
在用字典生成数据的基础上,同时指定行标签
例如对下表的数据进行读取
4月是第四个表,我们应把sheet_name参数指定为3;因为索引是从0开始的。
可以看出read_excel()函数自动创建了一个DataFrame对象,同时自动把第一行数据当做列标签。
可以看出不给出header参数时,该参数默认为0。
header=1时结果如下:
header=None时结果如下:
index_col=0时,第0列为列标签
index_col=0时
usecols=[2]:指定第二列
指定多列
数据如下:
[外链转存失败,源站可能有防盗链机制,建议将保存下来直接上传(img-j1SHxY8y-1637655972909)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211114192949607png)]
nrows=3时
head()函数中参数为空默认前5行
指定head(3)时如下
numpy模块也是shape
查看特定列的书库类型
特定列数据类型转换
先查看一下所有数据
与单行相比,结果显示的格式不一样了
iloc()挑选:
或者给出区间
挑选数据要么标签,要么索引挑选
或者
或者写成区间
标签挑选
或者索引挑选
先查看一下数据
或者用字典一对一修改
[外链转存失败,源站可能有防盗链机制,建议将保存下来直接上传(img-a6QKIoie-1637655972912)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123110431201png)]
isin()函数查看表中是否有该值
查看特定列是否有该值
可以看出上述代码并没有替换,那怎么替换呢?
末尾插入一列
指定插入到哪列
axis参数可以指定删除行还是删除列
指定标签删除
指定索引删除
方法三
指定行标签删除
指定索引删除
方法三:
先查看所有数据
info()函数查看数据类型,还可以查看是否有缺失值
isnull()函数查看是否有缺失值
在numpy模块中用isnan()函数
删除有缺失值的行
删除整行都为缺失值的行: 需要指定how参数
不同列的缺失值设置不同的填充值
默认保留第一个重复值所在的行,删除其他重复值所在的行
保留第一个重复值所在的行
保留最后一个重复值所在的行
是重复的就删除
降序如下
参数指定first时,表示在数据有重复值时,越先出现的数据排名越靠前
获取产品为单肩包的行数据
获取数量>60的行数据
获取产品为单肩包 且 数量>60 的行数据
获取产品为单肩包 或 数量>60 的行数据
stack()函数转换成树形结构
how参数指定外连接
on参数指定按哪一列合并
concat()函数采用 全连接 的方式,没有的数设置为缺失值
重置行标签
效果与concat()一样
末尾添加行元素
指定列求和
指定列求均值
指定列求最值
获取单列的
corr()函数获取相关系数
获取指定列与其他列的相关系数
[外链转存失败,源站可能有防盗链机制,建议将保存下来直接上传(img-46g9qgQw-1637655972913)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123135643804png)]
groupby()函数返回的是一个DataFrameBy对象,该对象包含分组后的数据,但是不能直观地显示出来。
分组后获取指定列的汇总情况
获取多列的汇总情况
获取多列的情况
ta = pdread_excel(‘相关性分析xlsx’)
print(data)
corr()函数获取相关系数
获取指定列与其他列的相关系数
[外链转存中…(img-46g9qgQw-1637655972913)]
groupby()函数返回的是一个DataFrameBy对象,该对象包含分组后的数据,但是不能直观地显示出来。
分组后获取指定列的汇总情况
获取多列的汇总情况
获取多列的情况
null/None/NaN
null经常出现在数据库中
None是Python中的缺失值,类型是NoneType
NaN也是python中的缺失值,意思是不是一个数字,类型是float
在pandas和Numpy中会将None替换为NaN,而导入数据库中的时候则需要把NaN替换成None
找出空值
isnull()
notnull()
添加空值
numeric容器会把None转换为NaN
In [20]: s = pdSeries([1, 2, 3])
In [21]: sloc[0] = None
In [22]: s
Out[22]:
0 NaN
1 20
2 30
dtype: float641234567891012345678910
object容器会储存None
In [23]: s = pdSeries(["a", "b", "c"])
In [24]: sloc[0] = None
In [25]: sloc[1] = npnan
In [26]: s
Out[26]:
0 None
1 NaN
2 c
dtype: object123456789101112123456789101112
空值计算
arithmetic operations(数学计算)
NaN运算的结果是NaN
statistics and computational methods(统计计算)
NaN会被当成空置
GroupBy
在分组中会忽略空值
清洗空值
填充空值
fillna
DataFramefillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, kwargs)
参数
value : scalar, dict, Series, or DataFrame
method : {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None(bfill使用后面的值填充,ffill相反)
axis : {0 or ‘index’, 1 or ‘columns’}
inplace : boolean, default False
limit : int, default None
downcast : dict, default is None
返回值
filled : DataFrame
Interpolation
replace
删除空值行或列
DataFramedropna(axis=0, how=’any’, thresh=None, subset=None, inplace=False)
参数
axis : {0 or ‘index’, 1 or ‘columns’}, or tuple/list thereof
how : {‘any’, ‘all’}
thresh : int, default None
subset : array-like
inplace : boolean, default False
返回
dropped : DataFrame
以上就是关于python里dataframe怎么设置刻度全部的内容,包括:python里dataframe怎么设置刻度、python数据分析模块:numpy、pandas全解、python中利用pandas怎么处理缺省值等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)