数据分析师用哪个数据库比较好

作为一个数据分析师来回答一下：

我做这行两年多了，刚开始的时候用的多是MySQL数据库，当然，Oracle数据库也会用到，尤其是在金融行业或者国企都用Oracle，一般的公司使用MySQL数据库，可能是因为MySQL数据库免费吧。另外，在一家互联网公司，我遇到了mongodb，目前一些新兴的互联网公司使用nosql的也比较多，这个当时是现学现卖的。作为一个数据分析师，可能对数据库的使用一般是存取数据，至于更高级别的优化、事务之类的，一般是使用不到的，有专门的数据库人员，我们只要用好数据库就好。

说道数据分析或者数据挖掘，除了数据库来存取数据，我们还需要处理数据的工具，最趁手的当然是Python了。Python结合数据库是日常的code，Python也提供了齐备的工具，针对MySQL的有pymysql库，和oracle结合有cx_Oracle库，和mongodb结合有pymongo库，另外当然少不了我们的数据分析利器pandas库了，提供了read_sql函数，支持各种数据库，直接读取成DataFrame的数据格式，十分的方便。

总结一下就是：其实遇到的大多数都是MySQL，oracle也有，这两种都是sql语句，差别不大，只要掌握sql语句，这两个数据库问题都不大，mongodb是新兴的非关系数据库，语句也不是很复杂，之间上手工作也是无压力的。结合Python中的pandas使用，让你很溜的处理数据，数据分析也就得心应手了，小case了。

一样配置，只需要配置好数据库连接参数（一般配置在settings即可，或者单独的一个配置文件），使用MySQLdb进行连接mysql即可，在需要展示页面的viewspy处理好数据之间的交互即可(执行mysql语句，7788),然后整合传到前端即可

聚集 collection pymongo插入数据collection,collection存,才建collection

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')

db = clienttest_database

coll= dbtest_collection

用collinsert() 插数据进

mongodb面建库test_database,并建collection名字叫test_collection

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。它的特点是高性能、易部署、易使用，存储数据非常方便。

MongoDB 简单使用

联接数据库

复制代码代码如下:

In [1]: import pymongo

In [2]: from pymongo import Connection

In [3]: connection = Connection('19216813', 27017) //创建联接

Connection 相关参数

复制代码代码如下:

Connection([host='localhost'[, port=27017[, pool_size=None[, auto_start_request=None[, timeout=None[, slave_okay=False[, network_timeout=None[, document_class=dict[, tz_aware=True]]]]]]]]])

数据库 *** 作

复制代码代码如下:

In [9]: cdatabase_names() //列出所有数据库名称

Out[9]: [u'test', u'admin', u'yuhen', u'sms', u'local']

In [10]: cserver_info() //查看服务器相关信息

Out[10]:

{u'bits': 64,

u'gitVersion': u'nogitversion',

u'ok': 10,

u'sysInfo': u'Linux yellow 2624-27-server #1 SMP Fri Mar 12 01:23:09 UTC 2010 x86_64 BOOST_LIB_VERSION=1_40',

u'version': u'122'}

In [16]: db = c['test']　//选择数据库

In [17]: dbcollection_names() //列出当前数据库中所有集合名称

Out[17]: [u'systemindexes', u'fsfiles', u'fschunks', u'test_gao']

In [23]: dbconnection //查看联接信息

Out[23]: Connection('19216813', 27017)

In [24]: dbcreate_collection('test_abeen') //创建新集合

Out[24]: Collection(Database(Connection('19216813', 27017), u'test'), u'test_abeen')

In [25]: dblast_status() //查看上次 *** 作状态

Out[25]: {u'err': None, u'n': 0, u'ok': 10}

In [26]: dbname //查看当前数据库名称

Out[26]: u'test'

In [27]: dbprofiling_info() //查看配置信息

Out[27]: []

In [28]: dbprofiling_level()

Out[28]: 00

集合 *** 作

复制代码代码如下:

In [31]: dbcollection_names() //查看当前数据库所有集合名称

Out[31]:

[u'systemindexes',

u'fsfiles',

u'fschunks',

u'test_gao',

u'systemusers',

u'test_abeen']

In [32]: c = dbtest_abeen //选择集合

In [33]: cname //查看当前集合名称

Out[33]: u'test_abeen'

In [35]: cfull_name //查看当前集合全名

Out[35]: u'testtest_abeen'

In [36]: cdatabase //查看当前集合数据库相关信息

Out[36]: Database(Connection('19216813', 27017), u'test')

In [38]: post = {"author":"Mike","text":"this is a test by abeen"}

In [39]: posts = dbposts

In [40]: postsinsert(post) //向数据库集合插入文档，默认创建集合

Out[40]: ObjectId('4c358492421aa91e70000000')

In [41]: dbcollection_names() //显示所有集合名称

Out[41]:

[u'systemindexes',

u'fsfiles',

u'fschunks',

u'test_gao',

u'systemusers',

u'test_abeen',

u'posts']

In [42]: postsfind_one() //从集合查找信息

Out[42]:

{u'_id': ObjectId('4c358492421aa91e70000000'),

u'author': u'Mike',

u'text': u'this is a test by abeen'}

In [52]: pupdate({"author":"Mike"},{"$set":{"author":"abeen","text":"this is a test by abeen shan shan"}})//更新集合文档信息

In [55]: list(pfind())

Out[55]:

[{u'_id': ObjectId('4c358492421aa91e70000000'),

u'author': u'abeen',

u'text': u'this is a test by abeen shan shan'}]

In [96]: list(postsfind())

Out[96]:

[{u'_id': ObjectId('4c358492421aa91e70000000'),

u'author': u'Mike',

u'text': u'this is a test by abeen'},

{u'_id': ObjectId('4c358ad4421aa91e70000002'), u'a': u'aa', u'b': u'bb'},

{u'_id': ObjectId('4c358ad9421aa91e70000003'), u'a': u'aa', u'b': u'bb'},

{u'_id': ObjectId('4c358abb421aa91e70000001'),

u'a': u'abeen',

u'b': u'this bb is updated'}]

In [97]: postsremove({"a":"abeen"}) //删除符合条件的文档

In [98]: list(postsfind())

Out[98]:

[{u'_id': ObjectId('4c358492421aa91e70000000'),

u'author': u'Mike',

u'text': u'this is a test by abeen'},

{u'_id': ObjectId('4c358ad4421aa91e70000002'), u'a': u'aa', u'b': u'bb'},

{u'_id': ObjectId('4c358ad9421aa91e70000003'), u'a': u'aa', u'b': u'bb'}]

In [102]: dbcollection_names()

Out[102]:

[u'systemindexes',

u'fsfiles',

u'fschunks',

u'test_gao',

u'systemusers',

u'test_abeen',

u'posts',

u'doc_abeen']

In [104]: dbdrop_collection("doc_abeen") //删除集合

In [105]: dbcollection_names()

Out[105]:

[u'systemindexes',

u'fsfiles',

u'fschunks',

u'test_gao',

u'systemusers',

u'test_abeen',

u'posts']

代码

复制代码代码如下:

In [113]: result = dbpostsfind({"a":"aa"})//查找

In [114]: type(result)

Out[114]: <class 'pymongocursorCursor'>

In [119]: list(result)

Out[119]:

[{u'_id': ObjectId('4c358ad4421aa91e70000002'), u'a': u'aa', u'b': u'bb'},

{u'_id': ObjectId('4c358ad9421aa91e70000003'), u'a': u'aa', u'b': u'bb'}]

find格式

复制代码代码如下:

find([spec=None[, fields=None[, skip=0[, limit=0[, timeout=True[, snapshot=False[, tailable=False[, sort=None[, max_scan=None[, as_class=None[, kwargs]]]]]]]]]]])

代码

复制代码代码如下:

In [120]: dbpostscount()//当前集合文档数

Out[120]: 3

In [121]: type(dbposts)

Out[121]: <class 'pymongocollectionCollection'>

In [138]: postsrename('test_abeen')//重命名当前集合

In [139]: dbcollection_names()

Out[139]:

[u'systemindexes',

u'fsfiles',

u'fschunks',

u'test_gao',

u'systemusers',

u'test_abeen']

In [151]: for post in cfind({"a":"aa"})sort("a"): //查询并排序列

post

Out[152]: {u'_id': ObjectId('4c358ad4421aa91e70000002'), u'a': u'aa', u'b': u'bb'}

Out[152]: {u'_id': ObjectId('4c358ad9421aa91e70000003'), u'a': u'aa', u'b': u'bb'}

复制代码代码如下:

> dbfooinsert( { x : 1, y : 1 } )

> dbfooinsert( { x : 2, y : "string" } )

> dbfooinsert( { x : 3, y : null } )

> dbfooinsert( { x : 4 } )

// Query #1 y　为null或不存在

> dbfoofind( { "y" : null } )

{ "_id" : ObjectId("4dc1975312c677fc83b5629f"), "x" : 3, "y" : null }

{ "_id" : ObjectId("4dc1975a12c677fc83b562a0"), "x" : 4 }

// Query #2 y为null的值

> dbfoofind( { "y" : { $type : 10 } } )

{ "_id" : ObjectId("4dc1975312c677fc83b5629f"), "x" : 3, "y" : null }

// Query #3 y不存在的结果

> dbfoofind( { "y" : { $exists : false } } )

{ "_id" : ObjectId("4dc1975a12c677fc83b562a0"), "x" : 4 }

爬虫是大家公认的入门Python最好方式，没有之一。虽然Python有很多应用的方向，但爬虫对于新手小白而言更友好，原理也更简单，几行代码就能实现基本的爬虫，零基础也能快速入门，让新手小白体会更大的成就感。因此小编整理了新手小白必看的Python爬虫学习路线全面指导，希望可以帮到大家。

1学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下。当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化。

2了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。

3学习scrapy，搭建工程化爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备Python爬虫工程师的思维了。

4学习数据库知识，应对大规模数据存储与提取

Python客栈送红包、纸质书

爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，的链接等等。你也可以利用PyMongo，更方便地在Python中 *** 作MongoDB。因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

5掌握各种技巧，应对特殊网站的反爬措施

当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。

6分布式爬虫，实现大规模并发采集，提升效率

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握Scrapy+ MongoDB + Redis 这三种工具。Scrapy 前面我们说过了，用于做基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。所以有些东西看起来很吓人，但其实分解开来，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

只要按照以上的Python爬虫学习路线，一步步完成，即使是新手小白也能成为老司机，而且学下来会非常轻松顺畅。所以新手在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目，直接开始 *** 作。

其实学Python编程和练武功其实很相似，入门大致这样几步:找本靠谱的书,找个靠谱的师傅，找一个地方开始练习。

学语言也是这样的：选一本通俗易懂的书，找一个好的视频资料，然后自己装一个IDE工具开始边学边写。

7给初学Python编程者的建议：

①信心。可能你看了视频也没在屏幕上做出点啥，都没能把程序运行起来。但是要有自信，所有人都是这样过来的。

②选择适合自己的教程。有很早的书籍很经典，但是不是很适合你，很多书籍是我们学过一遍Python之后才会发挥很大作用。

③写代码，就是不断地写，练。这不用多说，学习什么语言都是这样。总看视频，编不出东西。可以从书上的小案例开始写，之后再写完整的项目。

④除了学Python，计算机的基础也要懂得很多，补一些英语知识也行。

⑤不但会写，而且会看，看源码是一个本领，调试代码更是一个本领，就是解决问题的能力，挑错。理解你自己的报错信息，自己去解决。

⑥当你到达了一个水平，就多去看官方的文档，在CSDN上面找下有关Python的博文或者群多去交流。

希望想学习Python的利用好现在的时间，管理好自己的学习时间，有效率地学习Python，Python这门语言可以做很多事情。

以上就是关于数据分析师用哪个数据库比较好全部的内容，包括:数据分析师用哪个数据库比较好、python+django能够同时使用mongodb和mysql两种数据库引擎吗、如何在views.py中书写更改用户信息的代码，网站工具用到了django，mongodb，pymongo。等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！