国外代号spark什么时候内测

2022年7月31日。代号Spark是由朝夕光年采用最新型的虚幻5引擎所打造的生存型手游，据代号：Spark官方公布，《代号:Spark》于北京时间2022年7月31日在美国已经开始了游戏的内测。

在做spark-streaming的时候最近遇到个特别的问题：

每个batch的任务调度执行的时候，某些excutor上调度的任务特别多，其他的excutor上只调度一个

甚至200个task只会调度到2个excutor上：

第二个图上看到下面所有的Locality Level 都为: NODE_LOCAL

第一个图上的调度很多的task也是NODE_LOCAL

所以可能原因：是spark调度策略的问题

spark 是计算追着数据走， storm 是数据追着计算走， 所以如果数据量比较小，要求延迟比较小， 就适合storm， 但是如果数据量比较大， 这个时候如果传输数据， 就会碰到很大的带宽占用和性能下降， 这个时候就比较适合让计算去找数据，

但是在计算找数据的过程中， 是怎么让计算找到数据呢，就是靠 spark 的计算本地性来决定

sparklocality系列参数，可以调节Spark等待task进行数据本地化的时间。sparklocalitywait(默认3s）、sparklocalitywaitnode、sparklocalitywaitprocess、sparklocalitywaitrack，默认值是sparklocalitywait的值；

本地性从优到差排， PROCESS_LOCAL > NODE_LOCAL > NO_PREF > RACK_LOCAL；

就是总是尝试以最高的 locality level 去启动task， 如果对应需要是用到的 executor 正在使用中（跑别的task），满足不了， 就等一会（等待时间是有sparklocalitywaitprocess或sparklocalitywaitnode或sparklocalitywaitrack来控制的）， 看看过一会这个忙线的host 或者 executor是不是解脱了， 如果已经空闲了，我就可以把 task 放在它最期望的 host 或者 executor 上去运行了， 这里赌的就是一般来说，task 执行耗时相对于网络传输/文件IO 要小得多，调度器多等待1 2秒可能就可以以更好的本地性执行 task，避免了更耗时的网络传输或文件IO

举个例子， 假如 一个 task 要处理的数据，在上一个 stage 中缓存下来了， 这个 task 期望的 就是以 PROCESS_LOCAL 来运行， 这个时候缓存数据的executor 不巧正在执行 其他的task， 那么我就等一会， 等多长时间呢， sparklocalitywaitprocess这么长时间， 如果时间超了， executor 还是没有空闲下来， 那么我没有办法， 我就以NODE_LOCAL 来运行 task， 这个时候我想到 同一台机器上其他 executor 上跨jvm 去拉取数据， 如果同一台机器上有其他空闲的 executor 可以满足， 就这么干， 如果没有， 等待 sparklocalitywaitnode 时间， 还没有就以更低的 Locality Level 去执行这个 task

三个分别是局部的等待时间是可以根据实际情况调整：node、process、rack可以设置时间越来越短，rack可以设置为1s

这种调度原则通常是没有问题，在做实时任务的某些时候可能就会有问题；

由于kafka数据过滤后每个分区都比较小，默认的3s可能大部分都可以处理完，所以造成一直在延迟等待调度到NODE_LOCAL的节点上跑任务，经设小sparklocalitywait值问题得到解决

Flink 和 Spark 都是基于内存计算、支持实时/批处理等多种计算模式的统一框架

Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。

而Flink是基于事件驱动的，它是一个面向流的处理框架, Flink基于每个事件一行一行地流式处理，是真正的流式计算 另外他也可以基于流来模拟批进行计算实现批处理,所以他在技术上具有更好的扩展性,未来可能会成为一个统一的大数据处理引擎

因为他们技术理念的不同,也就导致了性能相关的指标的差别,spark是基于微批的,而且流水线优化做的很好,所以说他的吞入量是最大的,但是付出了延迟的代价,它的延迟是秒级;而Flink是基于事件的,消息逐条处理,而且他的容错机制很轻量级,所以他能在兼顾高吞吐量的同时又有很低的延迟,它的延迟能够达到毫秒级;

SparkStreaming只支持处理时间, 折中地使用processing time来近似地实现event time相关的业务。显然，使用processing time模拟event time必然会产生一些误差， 特别是在产生数据堆积的时候，误差则更明显，甚至导致计算结果不可用

Structured streaming 支持处理时间和事件时间，同时支持 watermark 机制处理滞后数据

Flink 支持三种时间机制：事件时间，注入时间，处理时间，同时支持 watermark 机制处理迟到的数据,说明Flink在处理乱序大实时数据的时候,优势比较大

其实和Kafka结合的区别还是跟他们的设计理念有关,SparkStreaming是基于微批处理的,所以他采用DirectDstream的方式根据计算出的每个partition要取数据的Offset范围,拉取一批数据形成Rdd进行批量处理,而且该Rdd和kafka的分区是一一对应的;

Flink是真正的流处理,他是基于事件触发机制进行处理,在KafkaConsumer拉取一批数据以后,Flink将其经过处理之后变成,逐个Record发送的事件触发式的流处理

另外,Flink支持动态发现新增topic或者新增partition,而SparkStreaming和08版本的kafka结合是不支持的,后来跟010版本的kafka结合的时候,支持了,看了源码;

一、Singlestat控制板

Singlestat面板允许您显示单个时间序列的一个主要摘要属性。它将时间序列归纳为单个数字(通过查看时间序列中的最大值、最小值、平均值或值之和)。Singlestat还提供阈值来为stat或面板背景着色。它还可以将单个数字转换为文本值，并显示该时间序列的sparkline摘要。

二、Singlestat面板配置

Singlestat面板有一个普通的查询编辑器，可以像其他面板一样定义精确的指标查询。在Options选项卡中,您可以访问具体的Singlestat功能。

1、Stats: Stats字段允许您设置将整个查询简化为单个值的函数(最小值min、最大值max、平均值average、当前值current、总数total、第一个值first、delta值、范围range)，这将整个查询简化为显示的单个汇总值。

最小值min——时间序列中的最小值

最大值max——时间序列中最大的值

平均值avg——时间序列中所有非空值的平均值

当前值current——时间序列的最后一个值。如果时间序列以null结束，将使用之前的值。

总数total——时间序列中所有非空值的和

第一个值first——时间序列的第一个值

delta值——(计数器的)增量的总和。尝试解释计数器重置，但这只适用于单个实例度量。用来表示时间序列中总计数器的增加。

差异diff—— '当前'(最后一个值)和'第一'之间的差异。

范围range——最小值和最大值之间的差值。显示计量器的变化范围。

2、前缀/后缀（ Prefix/Postfix ）:前缀/后缀字段允许您定义一个自定义标签，使其出现在值之前/之后。这里可以使用$__name变量从指标查询中使用系列名称或别名。

图中，“当前流量大小：”为 Prefix字段的值。

3、单位（unit）:单位被添加到面板中的Singlestat中，并且会尊重颜色和阈值设置。

4、小数（Decimal ）:Decimal字段允许您重写自动小数精度，并显式地设置它。

5、字体大小（Font Size）:您可以使用这个部分来选择Singlestat面板中不同文本的字体大小，即前缀、值和后缀。

三、颜色

Singlestat面板配置的着色选项允许您根据Singlestat值动态更改颜色。

1、背景（Background）:此复选框将配置的阈值和颜色应用到整个Singlestat面板背景中。

2、阈值（Thresholds）:根据Singlestat值，在面板内动态更改背景和值颜色。阈值字段接受两个逗号分隔的值，这些值表示三个范围，它们直接对应右边的三种颜色。例如:如果阈值为70，那么第一个颜色表示< 70，第二个颜色表示介于70到90之间，第三个颜色表示> 90。

在复选框中选择value后，显示的值变成绿色。

3、颜色（Colors）:选择颜色和不透明度。

4、值（Value）:此复选框将配置的阈值和颜色应用到汇总状态。

5、反向顺序（Invert order）:此链接切换阈值颜色顺序。

例如:Green, Orange, Red()将变成Red, Orange, Green()。

四、走势图（Spark Lines）

Sparklines是查看与汇总数据相关的历史数据的一种很好的方式，提供了有价值的上下文。Sparklines的工作方式与传统图形面板不同，不包括x轴或y轴、坐标、图例或与图形交互的能力。

上图的蓝色区域就是走势图。

1、显示（show）:显示（show）复选框将切换是否在面板中显示走势图。未选中时，只会出现Singlestat值。

2、全高度（Full Height）:检查您是否希望sparklines占据整个面板高度，或者不选择它，走势图应该低于主Singlestat值。

3、线条颜色（Line Color）:此颜色选择适用于线条本身的颜色。

4、填充色（Fill Color）:此颜色选择适用于走势图下方的区域。

五、仪表

仪表（Gauge）清楚地说明了一个值在其上下文中的值有多大。这是一种很好的方法来观察一个值是否接近阈值。仪表（Gauge）使用颜色选项中设置的颜色。

1、显示（show）:显示（show）复选框将切换是否在面板中显示仪表。未选中时，只会出现Singlestat值。

2、Min/Max:设置仪表的起点和终点。

3、阈值标签（Threshold Labels）:检查是否要显示阈值标签。在颜色选项中设置阈值。

4、阈值标记（Threshold Markers）：如果你想有第二个表显示阈值。

六、价值/范围到文本的映射

值/范围到文本映射允许您将汇总数据的值转换为显式文本。文本将尊重为该值定义的所有样式、阈值和定制。这对于将主Singlestat值的数目转换为上下文特定的人类可读的字或消息非常有用。

七、故障排除

多个系列的错误

grafana在单板上对多时间序列做了更严格的检查。在以前的版本中，面板逻辑并不验证只使用了单个时间序列，而是显示了遇到的第一个时间序列。根据数据源的不同，这可能会导致显示不一致的数据和/或对显示哪个指标存在普遍的混淆。

修复你的singlestat面板:

1、通过单击面板标题并选择Edit编辑您的面板。

在metrics选项卡中有多个查询吗

解决方案:选择一个查询来可视化。您可以通过单击每行上的眼睛图标来切换查询是否显示。如果错误仍然存在，则继续下一个解决方案。

2、您有一个查询吗

解决方案:这可能意味着您的查询返回多个时间序列。您将希望将此简化为单个时间序列。这可以通过多种方式实现，具体取决于您的数据源。一些常见的实践包括求和时间序列，平均或任意数量的其他函数。有关其他信息，请参阅数据源文档。

sparkThriftserver 运行一天后，有人反馈查询报错，我自己测试了下，确实如此

这里学了下HDFS_DELEGATION_TOKEN 相关的知识，然后做出解答

在上述 >

以上就是关于国外代号spark什么时候内测全部的内容，包括:国外代号spark什么时候内测、spark 调度优化、Spark和Flink的区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！