Linux上的批处理性能

Linux上的批处理性能,第1张

概述我的最终用户希望在 Linux机器上同时运行批处理进程.他们的印象是,同时运行多个会减少周转时间.这些过程做了相当多的繁重工作. 我对此的看法是,并发运行只会竞争资源并导致资源争用.一些测试似乎证明了我的假设. 我在SF下面找到了类似的帖子. >任何人都可以指出证明理论双方的权威资源吗? >可以通过哪种测试来验证这一假设? Batch processing on Linux 要验证任何假设,您只需 我的最终用户希望在 Linux机器上同时运行批处理进程.他们的印象是,同时运行多个会减少周转时间.这些过程做了相当多的繁重工作.

我对此的看法是,并发运行只会竞争资源并导致资源争用.一些测试似乎证明了我的假设.

我在SF下面找到了类似的帖子.

>任何人都可以指出证明理论双方的权威资源吗?
>可以通过哪种测试来验证这一假设?

Batch processing on Linux

解决方法 要验证任何假设,您只需同时或并行运行作业并记下结果.如果你有多个cpus,你可能会在一个更好的地方取决于这些是如何执行的.

但要问他们用户为什么这么想.你只有理论.做一个烘烤测试,看看什么需要更少的资源和更少的时间.

注意!:我遇到了同样的问题,但是不是多个ETL,这些作业与备份竞争.停止备份使得ETL快速运行,因此他们指责备份! (但是停止ETL使备份运行得很快,所以要小心你如何展示你的论点!)由于DBA无法理解他们有磁盘争用,不想改变或做任何事情除了’使备份不影响ETL’,最后我编写了一个脚本,轮询ETLS的结束,只有在完成后才运行,如果在早上7点完成,否则不运行.我们的时间窗口有限.

你想调查像process affinity这样的事情

以及关于磁盘布局/ RAID等I / O的任何调整,标准性能考虑因素.

总结

以上是内存溢出为你收集整理的Linux上的批处理性能全部内容,希望文章能够帮你解决Linux上的批处理性能所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/1039379.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-24
下一篇 2022-05-24

发表评论

登录后才能评论

评论列表(0条)

保存