项目集群发布,在公网怎么访问linux下的共享盘目录静态资源 WebSphere

项目集群发布,在公网怎么访问linux下的共享盘目录静态资源 WebSphere,第1张

你映射的域名只有在你的局袭羡野域网中才可以使用域名访问。在公网是无法使用的,因为你的服务器没有在三大运营商那里注册DNS。

DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通拍喊过主机名,最终得到该主机名派悉对应的IP地址的过程叫做域名解析(或主机名解析)。

Tomcat集群中,Tomcat集群只完成了会话同步,没提供文件同步方案,为了同步图片文件等,氏伏可以使用同步工具GoodSync。宴源

GoodSync无论是通过局域网络还是互联网络,只要是你的重要文件,都可以自动同步和备份。通过使用创新性的同步算法 —— GoodSync 将在未来数年中成为同步领域的领先者。

GoodSync利用创新的同步算法,可以有效晌核态防止文件误删除,数据意外丢失,并消除重复的文件。GoodSync已经从用户和媒体获得许多衷心的赞扬和高度评价。

GoodSync - 真正实用的双向文件同步工具,更多介绍可参看《GoodSync_百度百科》

详细说明参见《强大的数据同步工具GoodSync使用教程_百度经验》

addFile方法可以接收本地文件(或者HDFS上的文件),甚至是文件夹(如果是文件夹,必须是HDFS路径),然后Spark的Driver和Exector可以通过SparkFiles.get()方法来获取文件的绝对路径(Get the absolute path of a file added through SparkContext.addFile()),addFile的函数原型如下:

def addFile(path: String): Unit

def addFile(path: String, recursive: Boolean): Unit

addFile把添加的本地文件传送给所有的Worker,这样能够保证在每个Worker上正确访问到文件。另外,Worker会把文件放在临时目录下。因此,比较适合用于文件比较小,计算比较复杂的场景。如果文件比较大,网络传送的消耗时间也会增长。

Spark中addFile加载配置顷简文件

val qqwry = "hdfs://dcnameservice/mcloud/data/datacenter/aws/mediastat/tools/qqwry.dat"//分发文件sc.addFile(qqwry)

获取分发文件绝对路径:

SparkFiles.get("qqwry.dat")

我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法粗乎并是将这些文件上传到HDFS上,然后计算节点从HDFS上获岩迹取这些数据。当然我们也可以使用addFile函数来分发这些文件。注意,如果是spark程序通过yarn集群上加载配置文件,path必须是集群hdfs的绝对路径.


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/8175812.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-14
下一篇 2023-04-14

发表评论

登录后才能评论

评论列表(0条)

保存