大数据平台的软件有哪些？

一、Phoenix
简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。
Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒
二、Stinger
简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。
某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：
❶让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。
❷优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。
❸在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。
三、Presto
简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 MapReduce 要好上 10 倍有多。
Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

大数据技术的三个重点：Hadoop、spark、storm。Hadoop本身就是大数据平台研发人员的工作成果，Hadoop是目前常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。

VSCode + Remote-SSH + Linux服务器远程开发

VSCode新增加一个 Remote-SSH 插件，它可以用来打开Linux服务器上的的文件夹!!!

VSC 通过 Remote Development 插件连接上远程服务器，然后打开服务器上的文件夹作为 workspace 。无需将服务器上的各种头文件和源码拷贝到本地上，我们就能使用包括 IntelliSense (completions) 、 code navigation 及 debugging 在内的各种功能。最后，我们还能使用编辑器内置的终端 *** 纵服务器，去做一些 build、release 这样的事情

安装Win10系统, 默认系统会安装 OpenSSH , 如果本地机器没有装, 需要专门安装一下, 注意这里需要安装 OpenSSH-Client 客户端 并且在Windows中 powershell 中使用 ssh-keygenexe 生成一对公私钥, 存储在 C:\Users\brownfeng\ssh\ 文件夹中, 具体步骤如下

具体步骤:

本机 *** 作环境：Windows 10 1909（此版本的系统自带SSH）
远程机器环境: Ubuntu1804

常规插件安装如下:

其他的配置使用 Ctrl+Shift+P ,选自 setting(JSON)

这里远程机器可以是使 VirtualBox 中安装的 ubuntu1804 , 也或者是同一个网络中的其他Linux机器 并且Linux机器上需要如下配置:

在Windows机器上打开VSCode, 然后点击界面最左边的 Remote-SSH , 然后点击点击左上方 CONNECTION 窗口中的蓝字 Configure ，并选择包含 ssh\config 的配置文件, 并且在配置文件中填入:

此时已经在VSCode中重启打开窗口,远程连接上了Linux中的内容

>

可能故障原因1：网卡驱动故障

1首先考虑网卡驱动问题，这个问题比较常见，右键点击桌面计算机--属性，！

2

在计算机属性页面选择“设备管理器”进入！

3

在设备管理器页面找到“网络适配器”下面一般有两个网卡，一个有线一个无线网卡！点击有线网卡右键--禁用！出现提示框点击确定，然后再右键启动！看看重新拨号是否正常，如果不正常请往下看！

4

右键有线网卡，选择卸载，将网卡驱动卸载掉！

5

点击设备管理器菜单的 *** 作--扫描硬件改动，系统一般会用通用驱动重新驱动网卡，安装完成后，重新启动计算机！应该可以了！

END

可能原因2：日志文件写入被禁止

1

日志文件的路径C:\Windows\System32\LogFiles\WMI，这个文件夹如果没有管理员权限，宽带连接也会有问题，出现651或711等错误提示的！首先双击计算机，进入计算机文件夹，在地址栏输入C:\Windows\System32\LogFiles后回车，

2

在LOgFiles文件夹下找到WMI文件夹，然后选中点击右键--属性，如下图所示i！其实就是让它获得永久管理员权限！我的方法可以不用每次重启电脑后都要修改一次权限！

3

在WMI文件夹属性页面，选择安全选项卡--点击高级设置！

4

在 WMI文件夹高级属性页面，选择权限--继续

5

在 WMI文件夹高级页面，选中你目前使用的账户，然后点击编辑按钮

6

在进入你的账号对WMI文件夹控制选项中，将完全控制下方的所有选项全部勾选，如下图所示，然后点击确定按钮！

7

修改完成后，点击应用按钮，后面的修改提示选择确定即可！完成修改后重新启动你的计算机！

可能原因3：运营商网络调整

1

联系你的宽带网络提供商，电信用户拨打：10000、联通10010、移动10086，转到人工服务，直接说你的宽带连接报错651，他们会马上查找问题的，内部帮你重置一下就行了！如果线路问题也会告诉你什么时候好或什么时候维修的！小编这边一般会上门检修的！

宽带连接提示错误651怎么办

2

如果到上一步还无法解决的话，说明却是是电脑系统问题了！请换一台电脑或系统还原一下就可以了！关于如何系统还原参考另外经验！

建议你找台好电脑用老毛桃UEFI版启动盘做个U盘启动重新对硬盘分区(用于排除不知道在哪病毒木马恶意插件及磁盘故障带来的问题)  再重装系统

不过建议你在PE里提前备份一下重要的文件资料  ，如：照片、资料、存档数据

预装WIN8/81系统的品牌机安装系统请参考对应品牌的教程

系统压缩包通用解压密码：devip（好压解压  采用特殊压缩方案）   百度一个迅雷VIP就能快速下载

Windows XP迅雷下载地址：

thunder://QUFodHRwOi8vZ2RsLmxpeGlhbi52aXAueHVubGVpLmNvbS8lRTMlODAlOTAlRTglQTclQTMlRTUlOEUlOEIlRTUlQUYlODYlRTclQTAlODElRUYlQkMlOUFkZXZpcCUyMCVFNSU4NiU4NSVFNSU5MCVBQiVFNSVBRSU4OSVFOCVBMyU4NSVFNiU5NSU5OSVFNyVBOCU4QiVFMyU4MCU5MSVFNSVCOCU5RCVFNyU5QiU4QU9TJTIwWFAlRTglQTMlODUlRTYlOUMlQkElRTclODklODgyMDE1JTJFMyUyRTI4JUU2JTlCJUI0JUU2JTk2JUIwJTJFN3o/ZmlkPThqcjBzVUowTFFtNER2NUIrcUJrTHRIbVF2M3FPVzlSQUFBQUFBNllYVENBQi84NXhjalJ6YjNNNkpaa0J2YjYmbWlkPTY2NiZ0aHJlc2hvbGQ9MTUwJnRpZD05Mjc0RTUxMTMwM0QxMkQ4OUI2NzlBOUMzRkFBQkMxMiZzcmNpZD02JnZlcm5vPTEmZz0wRTk4NUQzMDgwMDdGRjM5QzVDOEQxQ0RCRENDRTg5NjY0MDZGNkZBJnVpPXhsa3VhaWNodWFuJnM9MTM2NjI0MzgxOCZwaz1rdWFpY2h1YW4mYWs9ODowOjk5OTowJmU9MTQzODgzODA2MyZtcz01MTIwMCZjaT0mY2s9MEM0QTg5MzREOUFENkNEQTcxRDQyMEU0QjU0ODQ2RUImYXQ9OEY1NDVEM0MxNDJCODAyRTczMUZGMUI2MDkzRjU3QzQmbj0wNjVBM0RFM0M1ODJBM0U1OEUzMjU4RENBQkMyQTA4MUVGMDUyNzE3NDg1MzY5NzAyMDVDM0JGNkM4QjVBQkU1QUUzMDU1RDBBOEMzOTU5OUU3MTEzNjkwQURCNEU1Qjg5RDVFMjZGOTYyNzYyMDU4NTA1MTFFRjZDQkI5QkFFNzg5MzE4RjQzMUMxMDJFMzMyRThCODU5NUI2OTFFNjk2QjA5NzhBMDkyRDI1MDAwMDAwWlo=

32位Windows 7迅雷下载地址：

thunder://QUFodHRwOi8vZ2RsLmxpeGlhbi52aXAueHVubGVpLmNvbS8lRTMlODAlOTAzMiVFNCVCRCU4RCVFMyU4MCU5MSVFMyU4MCU5MCVFOCVBNyVBMyVFNSU4RSU4QiVFNSVBRiU4NiVFNyVBMCU4MSVFRiVCQyU5QWRldmlwJTIwJUU1JTg2JTg1JUU1JTkwJUFCJUU1JUFFJTg5JUU4JUEzJTg1JUU2JTk1JTk5JUU3JUE4JThCJUUzJTgwJTkxJUU1JUI4JTlEJUU3JTlCJThBJUU3JUE3JTkxJUU2JThBJTgwV2luJTIwNyUyMFNQMSVFOCVBMyU4NSVFNiU5QyVCQSVFNyU4OSU4OCUyMCUyMDIwMTUlMkUzJTJFMjglRTYlOUIlQjQlRTYlOTYlQjAlMkU3ej9maWQ9d2pLUkxlZ2RjMzF5QlNIWXlYdGhrVXEzQkZ1SzNZQ3pBQUFBQUlMRHd6d0hyTlVPSmVvdkJOV0lWeXJlMzAxMyZtaWQ9NjY2JnRocmVzaG9sZD0xNTAmdGlkPTE1OEQ1RjA1QzZCQzM3Njg5OEE2OTU2NzI2MUM5M0E2JnNyY2lkPTYmdmVybm89MSZnPTgyQzNDMzNDMDdBQ0Q1MEUyNUVBMkYwNEQ1ODg1NzJBREVERjRENzcmdWk9eGxrdWFpY2h1YW4mcz0zMDExNTY2OTg2JnBrPWt1YWljaHVhbiZhaz04OjA6OTk5OjAmZT0xNDM4ODM4MDYzJm1zPTUxMjAwJmNpPSZjaz0wQzRBODkzNEQ5QUQ2Q0RBNzFENDIwRTRCNTQ4NDZFQiZhdD02MUVFRkUyMUZDMjA5NDJBMDFBQzE3QjZGRjZGM0NFOSZuPTBDODY0MDAyRTI3MzlCQjk4RDg2NDAwMzMyQzFFRkVDQTdDNjI1MUM1QUE0RDA4MkU3QzU0MTdENkREQjFCNjE3NjBDQjBCMjM0QzdGQUUxOTBDRTI1M0M1OEE5REM4MUU2RjA1OTc1NzlDQTlDODQ5MTgwNzgwRjM2REFGNUUzQTdGNDI2MTg1MTE2MTY2QTIwNTJFMEMxODE3MDk3QTc4NTgzNUMyODM2QzhGNzI0MjA1N0YwQTNFNDZGNEMyQTMyNUQyNjA5NjVBN0U5QjQyRTUyQkE5MkQxNDE3RjA0MDBaWg==

64位Windows 7迅雷下载地址：

thunder://QUFodHRwOi8vZ2RsLmxpeGlhbi52aXAueHVubGVpLmNvbS8lRTMlODAlOTA2NCVFNCVCRCU4RCVFMyU4MCU5MSVFMyU4MCU5MCVFOCVBNyVBMyVFNSU4RSU4QiVFNSVBRiU4NiVFNyVBMCU4MSVFRiVCQyU5QWRldmlwJTIwJUU1JTg2JTg1JUU1JTkwJUFCJUU1JUFFJTg5JUU4JUEzJTg1JUU2JTk1JTk5JUU3JUE4JThCJUUzJTgwJTkxJUU1JUI4JTlEJUU3JTlCJThBJUU3JUE3JTkxJUU2JThBJTgwV2luJTIwNyUyMFNQMSVFOCVBMyU4NSVFNiU5QyVCQSVFNyU4OSU4OCUyMCUyMDIwMTUlMkUzJTJFMjglRTYlOUIlQjQlRTYlOTYlQjAlMkU3ej9maWQ9Q1RLTEVEYncvMmVzaFFQazVGK0JhM0hxZGpMS0I5anBBQUFBQU1sTExFcWcxeW1YNFV4ZGVBZEU2V1FkYi9VZSZtaWQ9NjY2JnRocmVzaG9sZD0xNTAmdGlkPTZEMEIwODcyRTE0NzhCMzI2ODNEOEREOTg5NkMwRjI0JnNyY2lkPTYmdmVybm89MSZnPUM5NEIyQzRBQTBENzI5OTdFMTRDNUQ3ODA3NDRFOTY0MUQ2RkY1MUUmdWk9eGxrdWFpY2h1YW4mcz0zOTIzMjQ5MDk4JnBrPWt1YWljaHVhbiZhaz04OjA6OTk5OjAmZT0xNDM4ODM4MDYzJm1zPTUxMjAwJmNpPSZjaz0wQzRBODkzNEQ5QUQ2Q0RBNzFENDIwRTRCNTQ4NDZFQiZhdD1BQjJBMTAwMDkzMDQ3MjZGNTAwRjI5NTkxOEZGODI2NyZuPTAwMzhBNUVGNjYzNEU0QkQ4RDM4QTVFRUIzODA5MEU4QTc3OEMwRjFEQkU1QUY4NkU3N0JBNDkwRUM5QTY0NjU3NkIyNTU1RkI1ODY4NUU1OTA3MEMwRDFEOUU4QTM4NUU2NEVCQzk4Rjg4QkUzODA5MTNFOURFMkI3OUI4QUU3QTc0QUMzRjVEMDU3Njk2RTIwRUMwNTJDMDAzMUU4QTM4NTNEQjlDNUI3ODk4ODIwMjBFOTE1NEU2NTJFMzMyRTMyRTNDM0U0RTRFNjk2QjAyRUVDNUY3RjUwMDAwMDAwMDBaWg==

---