python数据分析需要哪些库？

1. NumPy

一般我们会将科学领域的库作为清单打头，NumPy是该领域的主要软件库之一。它旨在处理大型的多维数组和矩阵，并提供了很多高级的数学函数和方法，因此可以用它来执行各种 *** 作。

2. SciPy

另一个科学计算核心库SciPy，基于NumPy而构建，并扩展了NumPy的功能。SciPy的主要数据结构是多维数组，使用Numpy实现。该库提供了一些用于解决线性代数、概率论、积分计算等任务的工具。

3.Pandas

Pandas是一个Python库，提供了高级的数据结构和各种分析工具。该库的一大特色是能够将相当复杂的数据 *** 作转换为一两个命令。Pandas提供了很多内置的方法，用于分组、过滤和组合数据，还提供了时间序列功能。所有这些方法的执行速度都很快。

4. StatsModels

Statsmodels是一个Python模块，为统计数据分析提供了很多可能性，例如统计模型估计、运行统计测试等。你可以借助它来实现很多机器学习方法，并探索不同的绘图可能性。

5. Matplotlib

Matplotlib是一个用于创建二维图表和图形的低级库。你可以用它来构建各种图表，从直方图和散点图到非笛卡尔坐标图。此外，很多流行的绘图库都为Matplotlib预留了位置，可与Matplotlib结合在一起使用。

6. Seaborn

Seaborn实际上是基于matplotlib库构建的高级API。它为处理图表提供了更恰当的默认选项。此外，它还提供了一组丰富的可视化图库，包括时间序列、联合图和小提琴图等复杂的类型。

7. Plotly

Plotly是一个可以帮助你轻松构建复杂图形的流行库。该库适用于交互式Web应用程序，它提供了很多很棒的可视化效果，包括轮廓图形、三元图和3D图表。

8. Bokeh

Bokeh库使用JavaScript小部件在浏览器中创建交互式和可伸缩的可视化图形。该库提供了多种图形、样式、链接图形式的交互能力、添加小部件、定义回调以及更多有用的功能。

9. Pydot

Pydot是一个用于生成面向复杂图形和非面向复杂图形的库。它作为面向Graphviz的一个接口，使用Python编写。我们可以借助它来显示图形的结构，这在构建神经网络和基于决策树的算法时经常会用到。

Python数据分析必备的第三方库：

1、Pandas

Pandas是Python强大、灵活的数据分析和探索工具，包含Serise、DataFrame等高级数据结构和工具，安装Pandas可使Python中处理数据非常快速和简单。

Pandas是Python的一个数据分析包，Pandas最初使用用作金融数据分析工具而开发出来，因此Pandas为时间序列分析提供了很好的支持。

Pandas是为了解决数据分析任务而创建的，Pandas纳入了大量的库和一些标准的数据模型，提供了高效的 *** 作大型数据集所需要的工具。Pandas提供了大量是我们快速便捷的处理数据的函数和方法。Pandas包含了高级数据结构，以及让数据分析变得快速、简单的工具。

2、Numpy

Numpy可以提供数组支持以及相应的高效处理函数，是Python数据分析的基础，也是Scipy、Pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对Python数据分析十分有用。

Numpy提供了两种基本的对象：ndarray和ufunc。ndarray是存储单一数据类型的多维数组，而ufunc是能够对数组进行处理的函数。

3、Matplotlib

Matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的Python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。

Matplotlib是Python的一个可视化模块，他能方便的只做线条图、饼图、柱状图以及其他专业图形。

Matplotlib是基于Numpy的一套Python包，这个包提供了丰富的数据绘图工具，主要用于绘制一些统计图形。

4、SciPy

SciPy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。

SciPy是一款方便、易于使用、专门为科学和工程设计的Python包，它包括统计、优化、整合、线性代数模块、傅里叶变换、信号和图像处理、常微分方程求解器等。Scipy依赖于Numpy，并提供许多对用户友好的和有效的数值例程，如数值积分和优化。

5、Keras

Keras是深度学习库，人工神经网络和深度学习模型，基于Theano之上，依赖于Numpy和Scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。

6、Scrapy

Scrapy是专门为爬虫而生的工具，具有URL读取、HTML解析、存储数据等功能，可以使用Twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。

7、Gensim

Gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持TF-IDF、LSA、LDA和Word2Vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。

先花点时间来说说一个程序怎么和数据库进行交互

1.和数据库建立连接

2.执行sql语句,接收返回值

3.关闭数据库连接

使用MySQLdb也要遵循上面的几步.让我们一步步的进行.

1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x

特别说明：我在我的电脑上实验时，我的python是2.7.2版本，安装对应版本的MySQLdb之后直接可以运行，并与数据库连接成功，所以如果大家

也像我一样顺利的话，下面的就不需要看了，直接跳过，看第2点如何执行sql语句即可！如果安装之后出现异常，可以参考一下下面的解决办法。

连接的关键是安装MySQLdb模块要下载与Python相对应的版本：

下载好后安装，它会自动检测到计算机Python的安装路径，并自动填写模块解压路径（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。

但解压完成后并不能使用，还要修改MySQLdb模块下的一些文件：

①.在MySQLdb目录下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：

注释第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在后面添加class DBAPISet(frozenset):

# from sets import ImmutableSet

# class DBAPISet(ImmutableSet):

class DBAPISet(frozenset):

②.打开converters.py：

注释第37行的from sets import BaseSet, Set，将第45行的return Set([ i for i in

s.split(',') ifi ])中的Set改为set；同样将第129行的Set:

Set2Str,中的Set改为set（不要修改Set2Str），到这里就修改完毕了

2.建立数据库连接

import MySQLdb

conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")

　

比较常用的参数包括

host: 连接的数据库服务器主机名，默认为本地主机(localhost)。

user:数据库登陆名.默认是当前用户.

passwd:数据库登陆的秘密.默认为空.

db:要使用的数据库名.没有默认值.

port:MySQL服务使用的TCP端口.默认是3306.

conn连接有两个重要的方法commit【提交新增和修改】,rollback【撤销新增或修改】

3、执行数据库 *** 作

n=cursor.execute(sql,param)

我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.

这些方法包括两大类:1.执行命令,2.接收返回值

cursor用来执行命令的方法:

　 callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数

　 execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数

　 executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数

　 nextset(self):移动到下一个结果集

　 cursor用来接收返回值的方法:

　 fetchall(self):接收全部的返回结果行.

　 fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.

　 fetchone(self):返回一条结果行.

　 scroll(self, value, mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一行移动value条.

下面的代码是一个完整的例子.

#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s

sql="insert into cdinfo values(%s,%s,%s,%s,%s)"

#param应该为tuple或者list

param=(title,singer,imgurl,url,alpha)

#执行,如果成功,n的值为1

n=cursor.execute(sql,param)

#再来执行一个查询的 *** 作

cursor.execute("select * from cdinfo")

#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple

cds=cursor.fetchall()

#因为是tuple,所以可以这样使用结果集

print cds[0][3]

#或者直接显示出来,看看结果集的真实样子

print cds

#如果需要批量的插入数据,就这样做

sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"

#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list

param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))

#使用executemany方法来批量的插入数据.这真是一个很酷的方法!

n=cursor.executemany(sql,param)

需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改 *** 作后,需要调用一下

conn.commit()方法进行提交.这样,数据才会真正保存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,

如果不用commit,那数据就不会保留在数据库中,但是,数据确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.

4、关闭数据库连接

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

cursor.close()

conn.close()

5、

5 编码（防止乱码）

需要注意的点：

1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)

2 MySQL数据库charset=utf-8

3 Python连接MySQL是加上参数 charset=utf8

4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)

#encoding=utf-8 import sys import MySQLdbreload(sys) sys.setdefaultencoding('utf-8')db=MySQLdb.connect(user='root',charset='utf8')

注：MySQL的配置文件设置也必须配置成utf8

6.模块功能演示

#!/usr/bin/python

import MySQLdb

Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')

cursor =con.cursor()

sql ="select * from myt"

cursor.execute(sql)

row=cursor.fetchone()

print row

cursor.close()

con.close()

执行以下SQL语句获取返回值：

//获取连接的游标

cursor=conn.cursor()

//查询

sql = "select * from 【table】"

//新增

sql = "insert into 【table】(字段,字段) values(值，值)"

//修改

sql = "update 【table】 set 字段 =‘值’where 条件 "

//删除

sql = "delete from 【table】where 条件"

cursor.execute(sql)

返回值

cur.execute('select * from tables')

其返回值为SQL语句得到的行数，如：2L，表示2行。

然后，可以从该对象的fetchone或fetchall方法得到行信息。

获取行信息

指针对象的fetchone()方法，是每次得到一行的tuple返回值：

引用

>>>row=cur.fetchone()

>>>print row

('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L, '/home/FTP/user1','')

指针对象的fetchall()方法，可取出指针结果集中的所有行，返回的结果集一个元组(tuples)：

引用

>>>cur.scroll(0,'absolute')

>>>row=cur.fetchall()

>>>print row

(('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L,

'/home/FTP/user1',''), ('user2', '7e58d63b60197ceb55a1c487989a3720',

1000L, 1000L,'/home/FTP/user2', None))

移动指针

当使用fetchone()方法是，指针是会发生移动的。所以，若不重置指针，那么使用fetchall的信息将只会包含指针后面的行内容。

手动移动指针使用：

cur.scroll(int,parm)

含义为：

引用

int：移动的行数，整数；在相对模式下，正数向下移动，负值表示向上移动。

parm：移动的模式，默认是relative，相对模式；可接受absoulte，绝对模式。

修改数据

修改数据，包括插入、更新、删除。它们都是使用指针对象的execute()方法执行：

cur.execute("insert into table (row1, row2) values ('111', '222')")

cur.execute("update table set row1 = 'test' where row2 = 'row2' ")

cur.execute("delete from table where row1 = 'row1' ")

因单引号“'”用于SQL语句中的标识，所以，python中的字符串需使用双引号括住。

此外，也可以使用python的“格式化字符串”写法，简化命令，例如：

cur.execute("update table set row1 = '%s' where row2 = '%s' "%('value1','value2'))

※请注意，'%s'的单引号是SQL语句的间隔符，'value1'的单引号是python的字符串间隔符，其含义是不同的。是否需要间隔符，以及使用双引号还是单引号作为间隔，需根据其含义决定。例如，还有：

cur.execute("update FTPUSERS set passwd=%s where userid='%s' "%("md5('123')",'user2'))

这里，paswd=%s是因SQL的md5()函数是不需要单引号间隔的；"md5('123')"是python的字符串中含有单引号，所以用双引号括住。

提交修改

一般情况下，MySQLdb模块会自动提交修改。但我们在更新数据后，手动运行一次：

conn.commit()

关闭数据库连接

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

cursor.close()

conn.close()

---