DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通拍喊过主机名,最终得到该主机名派悉对应的IP地址的过程叫做域名解析(或主机名解析)。
Tomcat集群中,Tomcat集群只完成了会话同步,没提供文件同步方案,为了同步图片文件等,氏伏可以使用同步工具GoodSync。宴源GoodSync无论是通过局域网络还是互联网络,只要是你的重要文件,都可以自动同步和备份。通过使用创新性的同步算法 —— GoodSync 将在未来数年中成为同步领域的领先者。
GoodSync利用创新的同步算法,可以有效晌核态防止文件误删除,数据意外丢失,并消除重复的文件。GoodSync已经从用户和媒体获得许多衷心的赞扬和高度评价。
GoodSync - 真正实用的双向文件同步工具,更多介绍可参看《GoodSync_百度百科》
详细说明参见《强大的数据同步工具GoodSync使用教程_百度经验》
addFile方法可以接收本地文件(或者HDFS上的文件),甚至是文件夹(如果是文件夹,必须是HDFS路径),然后Spark的Driver和Exector可以通过SparkFiles.get()方法来获取文件的绝对路径(Get the absolute path of a file added through SparkContext.addFile()),addFile的函数原型如下:def addFile(path: String): Unit
def addFile(path: String, recursive: Boolean): Unit
addFile把添加的本地文件传送给所有的Worker,这样能够保证在每个Worker上正确访问到文件。另外,Worker会把文件放在临时目录下。因此,比较适合用于文件比较小,计算比较复杂的场景。如果文件比较大,网络传送的消耗时间也会增长。
Spark中addFile加载配置顷简文件
val qqwry = "hdfs://dcnameservice/mcloud/data/datacenter/aws/mediastat/tools/qqwry.dat"//分发文件sc.addFile(qqwry)
获取分发文件绝对路径:
SparkFiles.get("qqwry.dat")
我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法粗乎并是将这些文件上传到HDFS上,然后计算节点从HDFS上获岩迹取这些数据。当然我们也可以使用addFile函数来分发这些文件。注意,如果是spark程序通过yarn集群上加载配置文件,path必须是集群hdfs的绝对路径.
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)