上传文件用MD5加密

1、安猛禅散装spark-md5包枝氏

2、新建文件md5WithChunk.js，封装md5加密文件的方法

3、调用计算文件md5的方法，得到md5处理袭梁后的文件

Sigma是日志文件中用于威胁检测的规则格式。对于日志数据，“Snort规则”适用于网络流量，“YARA签名”适用于文件数据码启闭。它很容易写和读。写出Sigma规则只需要几分钟。

在右边，你可以看到一个简单的西格玛规则，检查“系统”事件日志的线索，密码转储活动。检测部分包含1+个可由规则作者自由定义的标识符(选择、关键字、quarkspwdump)。在条件condition中使用这些选择器selectors来构建规则。

它还包含一个描述，参考，可能的误报和一个等级。

分析人员使用Sigma为他们的SIEM或日志管理解决方案生成搜索查询。Sigma repo包含一个转换器，允许转换通用规则ElasticSearch, Splunk, QRadar, Logpoint, Windows Defender ATP (WDATP)和ArcSight。

即将在7月底发布的SPARK 1.14版本就做到了这一点。它将Sigma规则应用于本地事件日志。这样，您就能够将您曾经为SIEM定义的搜索应用到本地事件日志中。

通过这种方式，您可以“查询”没有连接到您的SIEM的独立系统，并发现环境中其他常见的盲点。

我们提供了当前的规则集，它是公共Sigma库的一部分，并包含了超过200个规则与我们的SPARK程序包以加密的形式。迟裂(* .yms)

你可以把你自己的Sigma规则添加到"./custom-signatures/sigma/"文件夹在SPARK计划目录。

要激活Sigma扫描，请使用新的“-sigma”参数。

目前只有SPARK支持这个功能，没有计划在THOR中也实现。

该功能目前对所有用户都是免费的，但可能会成为一项收费功能，根据用户的计划，到今年年底必须另行旁旅授权。

有关所有特性的完整概述，请参见比较表。

spark和hadoop的区别：诞生的先后顺序、计算不同、平台不同。

诞生的先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二森盯代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。

计算不同spark和hadoop在分布式计算的底层思路上，其实宏昌是极为相似的，即mapreduce分布式运算模此绝和型：将运算分成两个阶段，阶段1-map，负责从上游拉取数据后各自运算，然后将运算结果shuffle给下游的reduce，reduce再各自对通过shuffle读取来的数据进行聚合运算spark和hadoop在分布式计算的具体实现上，又有区别；hadoop中的mapreduce运算框架，一个运算job，进行一次map-reduce的过程；而spark的一个job中，可以将多个map-reduce过程级联进行。

平台不同spark和hadoop区别是，spark是一个运算平台，而hadoop是一个复合平台（包含运算引擎，还包含分布式文件存储系统，还包含分布式运算的资源调度系统），所以，spark跟hadoop来比较的话，主要是比运算这一块大数据技术发展到目前这个阶段，hadoop主要是它的运算部分日渐式微，而spark目前如日中天，相关技术需求量大，offer好拿。

---