python数据分析师需要掌握什么技能

首先是基础篇

1、首先是Excel，貌似这个很简单，其实未必。Excel不仅能够做简单二维表、复杂嵌套表，能画折线图/Column chart/Bar chart/Area chart/饼图/雷达图/Combo char/散点图/Win Loss图等，而且能实现更高级的功能，包括透视表（类似于BI的多维分析模型Cube），以及Vlookup等复杂函数，处理100万条以内的数据没有大问题。最后，很多更高级的工具都有Excel插件，例如一些AI Machine Learning的开发工具。

2 SQL（数据库）

我们都知道数据分析师每天都会处理海量的数据，这些数据来源于数据库，那么怎么从数据库取数据？如何建立两表、三表之间的关系？怎么取到自己想要的特定的数据？等等这些数据选择问题就是你首要考虑的问题，而这些问题都是通过SQL解决的，所以SQL是数据分析的最基础的技能。

3 统计学基础

数据分析的前提要对数据有感知，数据如何收集？数据整体分布是怎样的？如果有时间维度的话随着时间的变化是怎样的？数据的平均值是什么？数据的最大值最小值指什么？数据相关与回归、时间序列分析和预测等等。

4、掌握可视化工具，比如BI，如Cognos/Tableau/FineBI等，具体看企业用什么工具，像我之前用的是FineBI。这些工具做可视化非常方便，特别是分析报告能含这些图，一定会吸引高层领导的眼球，一目了然了解，洞察业务的本质。另外，作为专业的分析师，用多维分析模型Cube能够方便地自定义报表，效率大大提升。

进阶阶段需要掌握的：

1、系统的学好统计学

纯粹的机器学习讲究算法预测能力和实现，但是统计一直就强调“可解释性”。比如说，针对今天微博股票发行就上升20%，你把你的两个预测股票上涨还是下跌的model套在新浪的例子上，然后给你的上司看。统计学就是这样的作用。

数据挖掘相关的统计方法（多元Logistic回归分析、非线性回归分析、判别分析等）

定量方法（时间轴分析、概率模型、优化）

决策分析（多目的决策分析、决策树、影响图、敏感性分析）

树立竞争优势的分析（通过项目和成功案例学习基本的分析理念）

数据库入门（数据模型、数据库设计）

预测分析（时间轴分析、主成分分析、非参数回归、统计流程控制）

数据管理（ETL（Extract、Transform、Load）、数据治理、管理责任、元数据）

优化与启发（整数计划法、非线性计划法、局部探索法、超启发（模拟退火、遗传算法））

大数据分析（非结构化数据概念的学习、MapReduce技术、大数据分析方法）

数据挖掘（聚类（k-means法、分割法）、关联性规则、因子分析、存活时间分析）

其他，以下任选两门（社交网络、文本分析、Web分析、财务分析、服务业中的分析、能源、健康医疗、供应链管理、综合营销沟通中的概率模型）

风险分析与运营分析的计算机模拟

软件层面的分析学（组织层面的分析课题、IT与业务用户、变革管理、数据课题、结果的展现与传达方法）

2、掌握AI Machine Learning算法，会用工具（比如Python/R）进行建模。

传统的BI分析能回答过去发生了什么？现在正在发生什么？但对于未来会发生什么？必须靠算法。虽然像Tableau、FineBI等自助式BI已经内置了一部分分析模型，但是分析师想要更全面更深度的探索，需要像Python/R的数据挖掘工具。另外大数据之间隐藏的关系，靠传统工具人工分析是不可能做到的，这时候交由算法去实现，无疑会有更多的惊喜。

其中，面向统计分析的开源编程语言及其运行环境“R”备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN（The Comprehensive R Archive Network）的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R语言虽然功能强大，但是学习曲线较为陡峭，个人建议从python入手，拥有丰富的statistical libraries，NumPy ，SciPyorg ，Python Data Analysis Library，matplotlib: python plotting。

以上我的回答希望对你有所帮助

首先要明确后端包括哪些职业：DBA（数据库维护优化专家），Developer（程序猿），Architect（构架师），Scrummaster及类似（敏捷开发专家），ProjectManager（产品狗），Maintenance&ITsupport（通讯和服务器相关），当然这只是一个大致的分类，并没有一个清晰的界限。

按程序猿内功而言：关系型数据库，领域驱动设计（Domain-DrivenDesign），设计模式DesignPattern，算法Algorithm，面向对象编程OOP（SOLID），线程安全，事件驱动，测试驱动开发，依赖注入框架，等等。

对于初学Java并且有志于后端开发的同学来说，需要重点关注以下几个部分：

基础：比如计算机系统、算法、编译原理等等

Web开发：主要是Web开发相关的内容，包括HTML/CSS/js（前端页面）、Servlet/JSP（J2EE）以及MySQL（数据库）相关的知识。它们的学习顺序应该是从前到后，因此最先学习的应该是HTML/CSS/JS（前端页面）。

J2EE：你需要学习的是Servlet/JSP（J2EE）部分，这部分是Java后端开发必须非常精通的部分，因此这部分是这三部分中最需要花精力的。关于Servlet/Jsp部分视频的选择，业界比较认可马士兵的视频。

最后一步，你需要学会使用数据库，mysql是个不错的入门选择，而且Java领域里主流的关系型数据库就是mysql。这部分一般在你学习Servlet/Jsp的时候，就会接触到的，其中的JDBC部分就是数据库相关的部分。你不仅要学会使用JDBC *** 作数据库，还要学会使用数据库客户端工具，比如navicat，sqlyog，二选一即可。

开发框架：目前比较主流的是SSM框架，即spring、springmvc、mybatis。你需要学会这三个框架的搭建，并用它们做出一个简单的增删改查的Web项目。你可以不理解那些配置都是什么含义，以及为什么要这么做，这些留着后面你去了解。但你一定要可以快速的利用它们三个搭建出一个Web框架，你可以记录下你第一次搭建的过程，相信我，你一定会用到的。还要提一句的是，你在搭建SSM的过程中，可能会经常接触到一个叫maven的工具。这个工具也是你以后工作当中几乎是必须要使用的工具，所以你在搭建SSM的过程中，也可以顺便了解一下maven的知识。在你目前这个阶段，你只需要在网络上了解一下maven基本的使用方法即可，一些高端的用法随着你工作经验的增加，会逐渐接触到的。

因此，你需要去看一些JDK中的类的源码，也包括你所使用的框架的源码。这些源码能看懂的前提是，你必须对设计模式非常了解。否则的话，你看源码的过程中，永远会有这样那样的疑问，这段代码为什么要这么写？为什么要定义这个接口，它看起来好像很多余？由此也可以看出，这些学习的过程是环环相扣的，如果你任何一个阶段拉下来了，那么你就真的跟不上了，或者说是一步慢步步慢。而且我很负责的告诉你，我在这个阶段的时候，所学习的东西远多于这里所罗列出来的。

总而言之，这个阶段，你需要做的是深入了解Java底层和Java类库（比如并发那本书就是Java并发包javaconcurrent的内容），也就是JVM和JDK的相关内容。而且还要更深入的去了解你所使用的框架，方式比较推荐看源码或者看官方文档。

1、数据库空间是个概述，在sqlserver里，使用语句 exec sp_spaceused 'TableName'  这个语句来查。

2、sp_spaceused 该存储过程在系统数据库master下。exec sp_spaceused   '表名' --该表占用空间信息exec sp_spaceused    ' '      留空表示查询当前数据库占用空间信息。

3、接下来查看字段长度与已经使用的最大字段，使用如下命令。

4、最后查询整个数据库的空间大小，选中数据库，点击右键在下拉菜单中选择属性。

5、在常规里可以看到数据库可用空间，当发现可用空间太小的时候，就要扩大数据库空间了。

证券公司数据维护师需要签保密协议禁止手机。

保密协议一般是入职时签订约定在职时以及离职后的保密义务 一般入职证劵公司的都是需要签订保密协议的。

知识补充

数据维护工程师负责安装和升级数据库服务器，以及应用程序工具，设计数据库系统存储方案，并制定未来的存储需求计划，创建数据库存储结构，创建数据库对象，根据开发人员的反馈信息，修改数据库的结构，登记数据库的用户，维护数据库的安全性，保证数据库的使用符合知识产权相关法规，控制和监控用户对数据库的存取访问，监控和优化数据库的性能，制定数据库备份计划。

在开始演示之前，我们先介绍下两个概念。

概念一，数据的可选择性基数，也就是常说的cardinality值。

查询优化器在生成各种执行计划之前，得先从统计信息中取得相关数据，这样才能估算每步 *** 作所涉及到的记录数，而这个相关数据就是cardinality。简单来说，就是每个值在每个字段中的唯一值分布状态。

比如表t1有100行记录，其中一列为f1。f1中唯一值的个数可以是100个，也可以是1个，当然也可以是1到100之间的任何一个数字。这里唯一值越的多少，就是这个列的可选择基数。

那看到这里我们就明白了，为什么要在基数高的字段上建立索引，而基数低的的字段建立索引反而没有全表扫描来的快。当然这个只是一方面，至于更深入的探讨就不在我这篇探讨的范围了。

概念二，关于HINT的使用。

这里我来说下HINT是什么，在什么时候用。

HINT简单来说就是在某些特定的场景下人工协助MySQL优化器的工作，使她生成最优的执行计划。一般来说，优化器的执行计划都是最优化的，不过在某些特定场景下，执行计划可能不是最优化。

比如：表t1经过大量的频繁更新 *** 作，（UPDATE,DELETE,INSERT），cardinality已经很不准确了，这时候刚好执行了一条SQL，那么有可能这条SQL的执行计划就不是最优的。为什么说有可能呢？

来看下具体演示

譬如，以下两条SQL，

A：

select from t1 where f1 = 20;

B：

select from t1 where f1 = 30;

如果f1的值刚好频繁更新的值为30，并且没有达到MySQL自动更新cardinality值的临界值或者说用户设置了手动更新又或者用户减少了sample page等等，那么对这两条语句来说，可能不准确的就是B了。

这里顺带说下，MySQL提供了自动更新和手动更新表cardinality值的方法，因篇幅有限，需要的可以查阅手册。

那回到正题上，MySQL 80 带来了几个HINT，我今天就举个index_merge的例子。

示例表结构：

mysql> desc t1;+------------+--------------+------+-----+---------+----------------+| Field      | Type         | Null | Key | Default | Extra          |+------------+--------------+------+-----+---------+----------------+| id         | int(11)      | NO   | PRI | NULL    | auto_increment || rank1      | int(11)      | YES  | MUL | NULL    |                || rank2      | int(11)      | YES  | MUL | NULL    |                || log_time   | datetime     | YES  | MUL | NULL    |                || prefix_uid | varchar(100) | YES  |     | NULL    |                || desc1      | text         | YES  |     | NULL    |                || rank3      | int(11)      | YES  | MUL | NULL    |                |+------------+--------------+------+-----+---------+----------------+7 rows in set (000 sec)

表记录数：

mysql> select count() from t1;+----------+| count() |+----------+|    32768 |+----------+1 row in set (001 sec)

这里我们两条经典的SQL：

SQL C：

select from t1 where rank1 = 1 or rank2 = 2 or rank3 = 2;

SQL D：

select from t1 where rank1 =100  and rank2 =100  and rank3 =100;

表t1实际上在rank1,rank2,rank3三列上分别有一个二级索引。

那我们来看SQL C的查询计划。

显然，没有用到任何索引，扫描的行数为32034，cost为324365。

mysql> explain  format=json select from t1  where rank1 =1 or rank2 = 2 or rank3 = 2\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "324365"    },    "table": {      "table_name": "t1",      "access_type": "ALL",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "rows_examined_per_scan": 32034,      "rows_produced_per_join": 115,      "filtered": "036",      "cost_info": {        "read_cost": "323207",        "eval_cost": "1158",        "prefix_cost": "324365",        "data_read_per_join": "49K"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank1` = 1) or (`ytt``t1``rank2` = 2) or (`ytt``t1``rank3` = 2))"    }  }}1 row in set, 1 warning (000 sec)

我们加上hint给相同的查询，再次看看查询计划。

这个时候用到了index_merge,union了三个列。扫描的行数为1103，cost为44109，明显比之前的快了好几倍。

mysql> explain  format=json select /+ index_merge(t1) / from t1  where rank1 =1 or rank2 = 2 or rank3 = 2\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "44109"    },    "table": {      "table_name": "t1",      "access_type": "index_merge",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "union(idx_rank1,idx_rank2,idx_rank3)",      "key_length": "5,5,5",      "rows_examined_per_scan": 1103,      "rows_produced_per_join": 1103,      "filtered": "10000",      "cost_info": {        "read_cost": "33079",        "eval_cost": "11030",        "prefix_cost": "44109",        "data_read_per_join": "473K"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank1` = 1) or (`ytt``t1``rank2` = 2) or (`ytt``t1``rank3` = 2))"    }  }}1 row in set, 1 warning (000 sec)

我们再看下SQL D的计划：

不加HINT，

mysql> explain format=json select from t1 where rank1 =100 and rank2 =100 and rank3 =100\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "53434"    },    "table": {      "table_name": "t1",      "access_type": "ref",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "idx_rank1",      "used_key_parts": [        "rank1"      ],      "key_length": "5",      "ref": [        "const"      ],      "rows_examined_per_scan": 555,      "rows_produced_per_join": 0,      "filtered": "007",      "cost_info": {        "read_cost": "47884",        "eval_cost": "004",        "prefix_cost": "53434",        "data_read_per_join": "176"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank3` = 100) and (`ytt``t1``rank2` = 100))"    }  }}1 row in set, 1 warning (000 sec)

加了HINT，

mysql> explain format=json select /+ index_merge(t1)/ from t1 where rank1 =100 and rank2 =100 and rank3 =100\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "523"    },    "table": {      "table_name": "t1",      "access_type": "index_merge",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "intersect(idx_rank1,idx_rank2,idx_rank3)",      "key_length": "5,5,5",      "rows_examined_per_scan": 1,      "rows_produced_per_join": 1,      "filtered": "10000",      "cost_info": {        "read_cost": "513",        "eval_cost": "010",        "prefix_cost": "523",        "data_read_per_join": "440"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank3` = 100) and (`ytt``t1``rank2` = 100) and (`ytt``t1``rank1` = 100))"    }  }}1 row in set, 1 warning (000 sec)

对比下以上两个，加了HINT的比不加HINT的cost小了100倍。

总结下，就是说表的cardinality值影响这张的查询计划，如果这个值没有正常更新的话，就需要手工加HINT了。相信MySQL未来的版本会带来更多的HINT。

1、Linux运维工程师

一般从企业入门到中级Linux运维工程师的工作大致有：挑选IDC机房及带宽、购买物理服务器或云服务、购买及使用CDN服务、搭建部署程序开发及用户的访问系统环境、对数据进行备份及恢复、处理网站运行中的各种故障、对网站的故障进行监控、解决网站运行的潜在安全问题、开发自动化脚本程序提高工作效率、规划网站架构、程序发布流程和规范，制定运维工作制度和规范、配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求，公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。

2、Linux运维架构师

1)自动化代码上线(SVN/GIT+Jenkins+MVN)解决方案;2)云计算部署架构及Docker微服务架构方案;3)服务自动化扩容方案(KVM/OpenStack/Docker+Ansible+Zabbix);4)10万并发的网站架构、秒杀系统的架构及解决发你个案;5)多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案;6)数据库、存储及各重要服务节点的集群和高可用方案;7)各网络服务的极端优化方案、服务解耦/拆分;8)运维流程、制度、规范等的建设和推行;9)沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。

3、数据库运维工程师

主要工作内容就是保证数据库数据的安全以及高效地为用户提供各种服务。工作内容主要有：数据库环境搭建、数据库优化、数据库备份恢复、数据库集群高可用、数据库数据统计分析、数据库数据可视化展示等。

涉及到的工具从早期传统的Oracle、Sql

Server，到当前互联网最火爆的MySQL，以及近年来崛起的NOSQL数据库Redis,Mongodb,Hbase,

Cassandra等，对于高级数据库管理员、数据库架构师，还需要网络、系统、开发(Python)等的能力。

4、运维开发工程师

运维开发工程师是介于运维工程师和开发工程师之间的岗位，简单地说就是开发和运维工作相关的工具、软件以及让运维数据自动化、智能化、可视化的平台产品(例如：CMDB平台、跳板机平台、监控平台、自动化运维管理工具、可视化Web展示等)。

5、运维经理

运维经理和运维总监是运维岗位的管理岗，和其他的部门领导领导一样，该岗位不但需要运维工程师、运维架构师的能力，同时还需要善于沟通、懂得团队激励、有培训能力、说服力。

以上就是关于python数据分析师需要掌握什么技能全部的内容，包括:python数据分析师需要掌握什么技能、java开发需要学习什么(java软件开发需要学什么)、怎样进行sql数据库的优化等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！