c# – Azure HDInsight的本地模拟

概述任务是在Azure云中实现ETL项目的T部分(转换).我相信HDInsight是适合它的服务,但不确定.请批准或反驳这一选择. 我对这个领域很陌生,如果有人能指出我正确的方向,我会很感激. 我希望能够开发转换服务(作业)并使用Azure存储/计算仿真器和Visual Studio 2012(理想情况下在C#中)在本地进行测试.我很确定HDInsight如何适应这张图片(如果有的话).转换作业将从b 任务是在Azure云中实现ETL项目的T部分(转换).我相信HDInsight是适合它的服务,但不确定.请批准或反驳这一选择.

我对这个领域很陌生,如果有人能指出我正确的方向,我会很感激.

我希望能够开发转换服务(作业)并使用Azure存储/计算仿真器和Visual Studio 2012(理想情况下在C#中)在本地进行测试.我很确定HDInsight如何适应这张图片(如果有的话).转换作业将从blob存储中读取文本文件,并生成(map reduce)数据到azure表存储中.

解决方法 你当然可以在本地运行HDInsight盒子.它与Azure存储和计算机模拟分开,并通过Web Platform安装程序安装(仅搜索HDInsight).

本地版本和Azure版本之间存在一些细微差别,因为本地版本使用存储在HDFS中的数据,而在云中,您可以使用Azure Blob容器.至于开发和测试转换过程(在MapReduce / Hive / Pig中),这没有什么区别.唯一的区别是您获取数据的方式.

请注意,您当然可以在HDInsight上使用C#创建MapReduce作业,对于基本数据转换,使用像Pig这样的更高级语言或者可能使用HDInsight上基于sql的HiveQL要容易得多.

总结

以上是内存溢出为你收集整理的c# – Azure HDInsight的本地模拟全部内容，希望文章能够帮你解决c# – Azure HDInsight的本地模拟所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。