大数据开发常用的编程语言有哪些？

1、Python语言
如果你的数据科学家不使用R，他们可能就会彻底了解Python。十多年来，Python在学术界当中一直很流行，尤其是在自然语言处理（NLP）等领域。因而，如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。同样，说到神经网络，Python同样游刃有余，有Theano和Tensorflow；随后还有面向机器学习的scikit-learn，以及面向数据分析的NumPy和Pandas。
还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使用一种可共享的日志格式，将代码、图形以及几乎任何对象混合起来。这一直是Python的杀手级功能之一，不过这年头，这个概念证明大有用途，以至于出现在了奉行读取－读取－输出－循环（REPL）概念的几乎所有语言上，包括Scala和R。
Python往往在大数据处理框架中得到支持，但与此同时，它往往又不是“一等公民”。比如说，Spark中的新功能几乎总是出现在Scala/Java绑定的首位，可能需要用PySpark编写面向那些更新版的几个次要版本（对Spark Streaming/MLLib方面的开发工具而言尤为如此）。
与R相反，Python是一种传统的面向对象语言，所以大多数开发人员用起来会相当得心应手，而初次接触R或Scala会让人心生畏惧。一个小问题就是你的代码中需要留出正确的空白处。这将人员分成两大阵营，一派觉得“这非常有助于确保可读性”，另一派则认为，我们应该不需要就因为一行代码有个字符不在适当的位置，就要迫使解释器让程序运行起来。
2、R语言
在过去的几年时间中，R语言已经成为了数据科学的宠儿——数据科学现在不仅仅在书呆子一样的统计学家中人尽皆知，而且也为华尔街交易员，生物学家，和硅谷开发者所家喻户晓。各种行业的公司，例如Google，Facebook，美国银行，以及纽约时报都使用R语言，R语言正在商业用途上持续蔓延和扩散。
R语言有着简单而明显的吸引力。使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字。它被比喻为是Excel的一个极度活跃版本。
R语言最伟大的资本是已围绕它开发的充满活力的生态系统：R语言社区总是在不断地添加新的软件包和功能到它已经相当丰富的功能集中。据估计，超过200万的人使用R语言，并且最近的一次投票表明，R语言是迄今为止在科学数据中最流行的语言，被61%的受访者使用(其次是Python，39%)。
3、JAVA
Java，以及基于Java的框架，被发现俨然成为了硅谷最大的那些高科技公司的骨骼支架。 “如果你去看Twitter，LinkedIn和Facebook，那么你会发现，Java是它们所有数据工程基础设施的基础语言，”Driscoll说。
Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。
4、Hadoop和Hive
一群基于Java的工具被开发出来以满足数据处理的巨大需求。Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。

就是把左件的值发送给右件的表达式，并作为右件表达式函数的第一个参数，就是管道函数。

例如：

anscombe_tidy <- anscombe %>%mutate(observation = seq_len(n()))

以上代码等价于：

anscombe_tidy=mutate(anscombe,observation = seq_len(n()))

扩展资料：

1、管道函数的作用

％>％来自dplyr包的管道函数，其作用是将前一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。

符号%>%，这是管道 *** 作，其意思是将%>%左边的对象传递给右边的函数，作为第一个选项的设置（或剩下唯一一个选项的设置）

2、管道函数的语法

在普通的函数中，使用dbms_output输出的信息，需要在服务器执行完整个函数后一次性的返回给客户端。如果需要在客户端实时的输出函数执行过程中的一些信息，在oracle9i以后可以使用管道函数(pipeline function)。

关键字PIPELINED表明这是一个oracle管道函数，oracle管道函数的返回值类型必须为集合，在函数中，PIPE ROW语句被用来返回该集合的单个元素，函数以一个空的RETURN 语句结束，以表明它已经完成。

例如：

create or replace type MsgType as table of varchar2(4000);

/

create or replace function f_pipeline_test return MsgType

PIPELINED as

begin

for i in 1 10 loop

pipe row('Iteration ' || i || ' at ' || systimestamp);

sysdbms_locksleep(1);

end loop;

pipe row('All done!');

return;

end;

/

1、首先在电脑中打开文件上传工具，然后在软件页面中，点击菜单栏 新建图标。

2、然后在打开的窗口中，填写ip、账号、密码，点击连接，如下图所示。

3、接着在打开的窗口中，选中本地文件或者，如下图所示。

4、然后将文件直接拖拽到服务器内（如图所示）。

5、完成文件上传，如下图所示就完成了，这样就传输到自己的服务器中了。

《R的极客理想——高级开发篇》（张丹）电子书网盘下载免费在线阅读

资源链接：

链接：> 提取码：alb9  

书名：R的极客理想——高级开发篇

作者：张丹

豆瓣评分：68

出版社：机械工业出版社

出版年份：2015-7

内容简介：

编辑推荐

资深R语言用户多年实战经验的结晶，介绍R语言本身的核心技术以及R语言在不同领域的跨学科综合应用，借助每日中国天气的应用案例和游戏开发的案例，揭秘完整的R包开发流程，帮助读者创建自己的R包，打开R语言产品化的思路。

内容简介

R的极客理想”系列图书以作者多年开发经验为素材，系统地梳理了R语言的知识。在《R的极客理想——工具篇》中介绍了R语言的30多个工具包的使用方法，并以IT人的视角，告诉读者如何高效地使用第三方R包。

《R的极客理想——高级开发篇》则以R语言的高级编程为主，辅以跨界知识的综合运用。书中首先阐释如何用R语言实现数学、统计计算以及模型建立，应用包括协同过滤算法、基于矩阵的PageRank算法、遗传算法和金融交易策略模型等。详细介绍了R语言的环境空间、文件系统管理、S3、S4、RC和R6四种面向对象的程序设计。还介绍完整的R包开发流程，并提供每日中国天气的应用案例和游戏开发的案例，帮助读者创建自己的R包，打开R语言产品化的思路。

书中介绍了多个场景案例，不仅从学术的角度完成了模型设计，而且用计算机的方法把产品实现。通过案例的学习，可以让不同学科背景的R语言使用者，站在其他人的角度，找到新的思维方法。

《R的极客理想——量化投资篇》将介绍R语言在金融领域的应用，真正地让技术人员把自己的知识变成价值。

作者简介：

张丹，R语言资深用户，系统架构师，况客科技联合创始人(Qutkecom）。有10年IT程序开发和系统架构设计的经验，精通Java、R和Javascript三种编程语言，熟悉数据挖掘、统计和金融的多种算法。目前在互联网金融量化投资方向创业中，个人博客Alexa全球排名前10万。

博客：>

微博：>

你可以利用dplyr包进行计算，假设你的数据名为：yourdata
data <- yourdata[,c("siteNO","user","check")]
library(dplyr)
by_siteNO_USER <- group_by(data,siteNO,user)
need <- summary(by_siteNO_user,
mean =mean(check),
median=median(check))

使用Python：

Python最初是作为用于软件开发的编程语言开发的（后来添加了数据分析工具），因此具有计算机科学或软件开发背景的人们可能会更舒适地使用它。

因此，从其他流行的编程语言（例如Java或C ++）到Python的过渡比从那些语言到R的过渡容易。

使用R：

R有一组称为Tidyverse的软件包，这些软件包提供了功能强大但易于学习的工具，用于导入， *** 作，可视化和报告数据。使用这些工具，没有任何编程或数据分析经验（至少是轶事）的人可以比Python更快地提高生产力。

总体而言，如果我们或我们的员工没有数据分析或编程背景，R可能更有意义。

---