如何使用python和R高效而优雅地处理大数据

1、从分类上，两种语言各有优势：
（1）python的优势不在于运行效率，而在于开发效率和高可维护性。在数据的载入和分发，python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。
（2）R 主要是统计学家为解决数据分析领域问题而开发的语言，R 语言的优势则是在于：
统计学家和几乎覆盖整个统计领域的前沿算法（3700+ 扩展包）；开放的源代码（free, in both senses），可以部署在任何 *** 作系统，比如 Windows, Linux, Mac OS X, BSD, Unix强大的社区支持；高质量、广泛的统计分析、数据挖掘平台；重复性的分析工作（Sweave = R + LATEX），借助 R 语言的强大的分析能力 + LaTeX 完美的排版能力，可以自动生成分析报告；方便的扩展性，包括可通过相应接口连接数据库，如 Oracle、DB2、MySQL、同 Python、Java、C、C++ 等语言进行互调，提供 API 接口均可以调用，比如 Google、Twitter、Weibo，其他统计软件大部分均可调用 R，比如 SAS、SPSS、Statistica等，甚至一些比较直接的商业应用，比如 Oracle R Enterprise, IBM Netezza, R add-on for Teradata, SAP HANA, Sybase RAP。
2、关于如何优雅地处理，则是一项艺术家的工作，如果有看过TED演讲的话，可以看到很多可视化的数据分析结果，这些都是非常cool的。
3、综上所述，首先，要针对特定的问题分清楚问题的核心，和研究的方法；然后，挑选合适的工具，进行分析；最后，则是通过艺术家般的想象力，通过数据可视化表达清楚。

#读入txt文档
result=[]
f_new = open('recordnewtxt','w')
with open('recordtxt','r+') as f:
for line in f:
resultappend(list(linestrip('
')split(',')))
然后处理list里面的元素就行了

---