《深入浅出》Apache Kafka实战

2011年年初，美国领英公司(LinkedIn) 开源了一款基础架构软件，以奥地利作家弗兰兹卡夫卡(Franz Kafka)的名字命名，之后LinkedIn 将其贡献给Apache基金会，随后该软件于2012年10月成功完成孵化并顺利晋升为Apache顶级项目---这 便是大名鼎鼎的ApacheKafka。历经7年发展，2017年 11月，Apache Kafka正式演进到10时代，本书就是基于100版本来展开介绍Kafka的设计原理与实战的。

给大家分享一篇Apache Kafka实战的PDF

第1章：认识Apache Kafka

Kafka快速入门

消息引擎系统

Kafka概要设计

Kafka基本概念与术语

Kafka使用场景

本章小结

第二章:Kafka发展历史

Kafka的历史

Kafka版本变迁

如何选择Kafka版本

Kafka与Confluent

本章小结

第3章：Kafka线上环境部署

集群环境规划

伪分布式环境安装

多节点环境安装

验证部署

参数设置

本章小结

第4章：producer开发

producer概览

构造producer

消息分区机制

消息序列化

producer拦截器

无消息丢失配置

消息压缩

多线程处理

旧版本producer

本章小结

第五章：consumer开发

consumer概览

构建consumer

订阅topic

消息轮询

位移管理

重平衡

解序列化

多线程消费实例

独立consumer

旧版本consumer

本章小结

第六章：Kafka设计原理

broker端设计架构

producer端设计

consumer 端设计

实现精确一次处理语义

本章小结

第七章：管理Kafka集群

集群管理

topic管理

topic动态配置管理

cosumer相关管理

topic分区管理

Kafka常见脚本工具



常见问题

本章小结

第八章：监控Katka集群

集群健康度检查

MBean监控

broker端JMX监控

clients端JMX监控

JVM监控

Os监控

主流监控框架

本章小结

第九章：调优Kafka集群

引言

确定调优目标

集群基础调优

调优吞吐量

调优延时

调优持久性

调优可用性

本章小结

第十章：Kafka Connect与Kafka Streams

引言

Kafka Connect

Kafka Streams

本章小结

这篇PDF的内容太多了我没有办法一一展示出来，我已经把这篇 PDF整理好了，需要免费领取的朋友麻烦转发这篇文章，然后私信学习或者JVM即可。

java中垃圾回收机制的原理
推荐一篇文章：
对高性能JAVA代码之内存管理
更甚者你写的代码，GC根本就回收不了，直接系统挂掉。GC是一段程序，不是智能，他只回收他认为的垃圾，而不是回收你认为的垃圾。
GC垃圾回收：
Grabage Collection相信学过JAVA的人都知道这个是什么意思。但是他是如何工作的呢？
首先，JVM在管理内存的时候对于变量的管理总是分新对象和老对象。新对象也就是开发者new出来的对象，但是由于生命周期短，那么他占用的内存并不是马上释放，而是被标记为老对象，这个时候该对象还是要存在一段时间。然后由JVM决定他是否是垃圾对象，并进行回收。
所以我们可以知道，垃圾内存并不是用完了马上就被释放，所以就会产生内存释放不及时的现象，从而降低了内存的使用。而当程序浩大的时候。这种现象更为明显，并且GC的工作也是需要消耗资源的。所以，也就会产生内存浪费。
JVM中的对象生命周期里谈内存回收：
对象的生命周期一般分为7个阶段：创建阶段，应用阶段，不可视阶段，不可到达阶段，可收集阶段，终结阶段，释放阶段。
创建阶段：首先大家看一下，如下两段代码：
test1：
for（ int i=0; i《10000; i++）
Object obj=new Object（）;
test2：
Object obj=null;
for（ int i=0; i《10000; i++）
obj=new Object（）;
这两段代码都是相同的功能，但是显然test2的性能要比test1性能要好，内存使用率要高，这是为什么呢？原因很简单，test1每次执行for循环都要创建一个Object的临时对象，但是这些临时对象由于JVM的GC不能马上销毁，所以他们还要存在很长时间，而test2则只是在内存中保存一份对象的引用，而不必创建大量新临时变量，从而降低了内存的使用。
另外不要对同一个对象初始化多次。例如：
public class A{
private Hashtable table = new Hashtable（）;
public A（）{ table = new Hashtable（）;
// 这里应该去掉，因为table已经被初始化。
}
这样就new了两个Hashtable，但是却只使用了一个。另外一个则没有被引用。而被忽略掉。浪费了内存。并且由于进行了两次new *** 作。也影响了代码的执行速度。
应用阶段：即该对象至少有一个引用在维护他。
不可视阶段：即超出该变量的作用域。这里有一个很好的做法，因为JVM在GC的时候并不是马上进行回收，而是要判断对象是否被其他引用在维护。所以，这个时候如果我们在使用完一个对象以后对其obj=null或者objdoSomething（） *** 作，将其标记为空，可以帮助JVM及时发现这个垃圾对象。
不可到达阶段：就是在JVM中找不到对该对象的直接或者间接的引用。
可收集阶段，终结阶段，释放阶段：此为回收器发现该对象不可到达，finalize方法已经被执行，或者对象空间已被重用的时候。
JAVA的析构方法：
可能不会有人相信，JAVA有析构函数？ 是的，有。因为JAVA所有类都继承至Object类，而finalize就是Object类的一个方法，这个方法在JAVA中就是类似于C++析构函数。一般来说可以通过重载finalize方法的形式才释放类中对象。如：
public class A{
public Object a;
public A（）{ a = new Object ;}
protected void finalize（） throws javalangThrowable{
a = null; // 标记为空，释放对象
superfinalize（）; // 递归调用超类中的finalize方法。
}
}
当然，什么时候该方法被调用是由JVM来决定的。。。。。。。。
一般来说，我们需要创建一个destory的方法来显式的调用该方法。然后在finalize也对该方法进行调用，实现双保险的做法。
由于对象的创建是递归式的，也就是先调用超级类的构造，然后依次向下递归调用构造函数，所以应该避免在类的构造函数中初始化变量，这样可以避免不必要的创建对象造成不必要的内存消耗。当然这里也就看出来接口的优势。
数组的创建：
由于数组需要给定一个长度，所以在不确定数据数量的时候经常会创建过大，或过小的数组的现象。造成不必要的内存浪费，所以可以通过软引用的方式来告诉JVM及时回收该内存。（软引用，具体查资料）。
例如：
Object obj = new char［10000000000000000］;
SoftReference ref = new SoftReference（obj）;
共享静态存储空间：
我们都知道静态变量在程序运行期间其内存是共享的，因此有时候为了节约内存工件，将一些变量声明为静态变量确实可以起到节约内存空间的作用。但是由于静态变量生命周期很长，不易被系统回收，所以使用静态变量要合理，不能盲目的使用。以免适得其反。
因此建议在下面情况下使用：
1，变量所包含的对象体积较大，占用内存过多。
2，变量所包含对象生命周期较长。
3，变量所包含数据稳定。
4，该类的对象实例有对该变量所包含的对象的共享需求。（也就是说是否需要作为全局变量）。
对象重用与GC：
有的时候，如数据库 *** 作对象，一般情况下我们都需要在各个不同模块间使用，所以这样的对象需要进行重用以提高性能。也有效的避免了反复创建对象引起的性能下降。
一般来说对象池是一个不错的注意。如下：
public abstarct class ObjectPool{
private Hashtable locked，unlocked;
private long expirationTime;
abstract Object create（）;
abstract void expire（ Object o）;
abstract void validate（ Object o）;
synchronized Object getObject（）{。};
synchronized void freeObject（Object o）{。};
这样我们就完成了一个对象池，我们可以将通过对应的方法来存取删除所需对象。来维护这快内存提高内存重用。
当然也可以通过调用Systemgc（）强制系统进行垃圾回收 *** 作。当然这样的代价是需要消耗一些cpu资源。
不要提前创建对象：
尽量在需要的时候创建对象，重复的分配，构造对象可能会因为垃圾回收做额外的工作降低性能。
JVM内存参数调优：
强制内存回收对于系统自动的内存回收机制会产生负面影响，会加大系统自动回收的处理时间，所以应该尽量避免显式使用Systemgc（），
JVM的设置可以提高系统的性能。例如：
java -XX:NewSize=128m -XX:MaxNewSize=128m -XX:SurvivorRatio=8 -Xms512m -Xmx512m
具体可以查看java帮助文档。我们主要介绍程序设计方面的性能提高。
JAVA程序设计中有关内存管理的其他经验：
根据JVM内存管理的工作原理，可以通过一些技巧和方式让JVM做GC处理时更加有效。，从而提高内存使用和缩短GC的执行时间。
1，尽早释放无用对象的引用。即在不使用对象的引用后设置为空，可以加速GC的工作。（当然如果是返回值。。）
2，尽量少用finalize函数，此函数是JAVA给程序员提供的一个释放对象或资源的机会，但是却会加大GC工作量。
3，如果需要使用到，可以使用soft应用类型，它可以尽可能将读入内存而不引起OutOfMemory
4，注意集合数据类型的数据结构，往往数据结构越复杂，GC工作量更大，处理更复杂。
5，尽量避免在默认构造器（构造函数）中创建，初始化大量的对象。
6，尽量避免强制系统做垃圾回收。会增加系统做垃圾回收的最终时间降低性能。
7，尽量避免显式申请数组，如果不得不申请数组的话，要尽量准确估算数组大小。
8，如果在做远程方法调用。要尽量减少传递的对象大小。或者使用瞬间值避免不必要数据的传递。
9，尽量在合适的情况下使用对象池来提高系统性能减少内存开销，当然，对象池不能过于庞大，会适得其反

java编程一直以来都是互联网软件开发市场上的主流开发语言，同样的这也就导致了只要发生漏洞的话，所有用java编程开发的软件都会出现问题，下面霍营java培训就一起来了解一下，java编程语言中的序列化问题应该如何解决。

什么是序列化

自从1997年发布JDK11以来，序列化已经存在于Java平台中。

它用于在套接字之间共享对象表示，或者将对象及其状态保存起来以供将来使用(反序列化)。

在JDK10及更低版本中，序列化作为javabase包和javaioSerializable方法的一部分存在于所有的系统中。

序列化的挑战和局限

序列化的局限主要表现在以下两个方面：

出现了新的对象传输策略，例如JSON、XML、ApacheAvro、ProtocolBuffers等。

1997年的序列化策略无法预见现代互联网服务的构建和攻击方式。

进行序列化漏洞攻击的基本前提是找到对反序列化的数据执行特权 *** 作的类，然后传给它们恶意的代码。

序列化在哪里如何知道我的应用程序是否用到了序列化

要移除序列化，需要从javaio包开始，这个包是javabase模块的一部分。常见的使用场景是：

实现Serializable接口和(可选)serialversionuid长整型字段。

使用ObjectInputStream或ObjectOutputStream。

使用严重依赖序列化的库，例如：Xstream、Kryo、BlazeDS和大多数应用程序服务器。

使用这些方法的开发人员应考虑使用其他存储和读回数据的替代方法。EishaySmith发布了几个不同序列化库的性能指标。在评估性能时，需要在基准度量指标中包含安全方面的考虑。默认的Java序列化“更快”一些，但漏洞也会以同样的速度找上门来。

我们该如何降低序列化缺陷的影响

项目Amber包含了一个关于将序列化API隔离出来的讨论。我们的想法是将序列化从javabase移动到单独的模块，这样应用程序就可以完全移除它。在确定JDK11功能集时并没有针对该提议得出任何结果，但可能会在未来的Java版本中继续进行讨论。

通过运行时保护来减少序列化暴露

一个可以监控风险并自动化可重复安全专业知识的系统对于很多企业来说都是很有用的。Java应用程序可以将JVMTI工具嵌入到安全监控系统中，通过插桩的方式将传感器植入到应用程序中。

其他有用的安全技术

在进行维护时，可以不需要手动列出一长串东西，而是使用像OWASPDependency-Check这样的系统，它可以识别出已知安全漏洞的依赖关系，并提示进行升级。也可以考虑通过像DependABot这样的系统进行库的自动更新。

虽然用意很好，但默认的Oracle序列化过滤器存在与SecurityManager和相关沙箱漏洞相同的设计缺陷。因为需要混淆角色权限并要求提前了解不可知的事物，限制了这个功能的大规模采用：系统管理员不知道代码的内容，所以无法列出类文件，而开发人员不了解环境，甚至DevOps团队通常也不知道系统其他部分(如应用程序服务器)的需求。

对于每一个java进程来说都有自己的内存池和使用空间，而这也就意味着会出现内存使用错误等问题，而这时候我们就需要对java内存进行诊断分析，今天云南java培训>

Java堆：分析诊断数据

堆转储分析

堆转储可以使用如下的工具进行分析：

EclipseMAT(内存分析工具，MemoryAnalyzerTool)是一个社区开发的分析堆转储的工具。它提供了一些很棒的特性，包括：

可疑的泄漏点：它能探测堆转储中可疑的泄露点，报告持续占有大量内存的对象;

直方图：列出每个类的对象数量、浅大小(shallow)以及这些对象所持有的堆。直方图中的对象可以很容易地使用正则表达式进行排序和过滤。这样有助于放大并集中我们怀疑存在泄露的对象。它还能够对比两个堆转储的直方图，展示每个类在实例数量方面的差异。这样能够帮助我们查找Java堆中增长快的对象，并进一步探查确定在堆中持有这些对象的根;

不可达的对象：MAT有一个非常棒的功能，那就是它允许在它的工作集对象中包含或排除不可达/死对象。如果你不想查看不可达的对象，也就是那些会在下一次GC周期中收集掉的对象，只关心可达的对象，那么这个特性是非常便利的;

重复的类：展现由多个类加载器所加载的重复的类;

到GC根的路径：能够展示到GC根(JVM本身保持存活的对象)的引用链，这些GC根负责持有堆中的对象;

OQL：我们可以使用对象查询语言(ObjectQueryLanguage)来探查堆转储中的对象。它丰富了OQL的基础设施，能够编写复杂的查询，帮助我们深入了解转储的内部。

JavaVisualVM：监控、分析和排查Java语言的一站式工具。它可以作为JDK工具的一部分来使用，也可以从GitHub上下载。它所提供的特性之一就是堆转储分析。它能够为正在监控的应用创建堆转储，也可以加载和解析它们。从堆转储中，它可以展现类的直方图、类的实例，也能查找特定实例的GC根;

jhat命令工具(在/bin文件夹中)提供了堆转储分析的功能，它能够在任意的浏览器中展现堆转储中的对象。默认情况下，Web服务器会在7000端口启动。jhat支持范围广泛的预定义查询和对象查询语言，以便于探查堆转储中的对象;

Java任务控制(JavaMissionControl)的JOverflow插件：这是一个实验性的插件，能够让Java任务控制执行简单的堆转储分析并报告哪里可能存在内存浪费;

Yourkit是一个商业的Javaprofiler，它有一个堆转储分析器，具备其他工具所提供的几乎所有特性。除此之外，YourKit还提供了：

可达性的范围(reachabilityscope)：它不仅能够列出可达和不可达的对象，还能按照它们的可达性范围显示它们的分布，也就是，强可达、弱/软可达或不可达;

内存探查：YourKit内置了一组全面的查询，而不是使用ad-hoc查询功能，YourKit的查询能够探查内存，查找反模式并为常见的内存问题分析产生原因和提供解决方案。

中维世纪的监控录像用什么软件能打开
中维世纪视频集中管理系统JVMS 6100

jovision/id=140
中维世纪录像机监控怎样设置远程
您好，很高兴为您解答：

主控方面网络服务申请云视通号码，并将开启云视通服务划勾。分控方面，下载手机客户端系统设置中输入主控的云视通号码，应用于全组，连接即可，谢谢。
——云视通网络监控系统

感谢您的支持，如有疑问，可以继续向我们提问，祝您工作顺利。
中维世纪怎样设置远程监控,请高手指点
您好，很高兴为您解答：

主控方面网络服务申请云视通号码，并将开启云视通服务划勾。分控方面，系统设置中输入主控的云视通号码，应用于全组，连接即可，谢谢。

如果是IE登陆，，可以使用中维的webcc系统

感谢您的支持！如有疑问，可以继续向我们提问！
中维世纪云视通怎么设置才能让8个监控画面全部显示出来啊？
您好，很高兴为您解答：

云视通软件默认是画面全部显示的，在系统设置中，输入主控端云视通号，然后应用于全组：

如果还不行，请您确定一下您的其他通道设备是否使用的中维世纪产品，或者重新下载云视通试一下！

——云视通网络监控系统

感谢您的支持！如有疑问，可以继续向我们提问！
关于中维世纪远程监控设置的问题！
“因为懂你，所以简单” - 很高兴为您解答：

不要使用域名或者IP，您直接通过云视通网络远程就可以。

——云视通网络监控系统

欢迎微信咨询，中维世纪微信订阅号jovisionwx，如还有疑问，可以继续微信向我们提问。
中维世纪监控系统用户登录账户密码怎么修改 详细一点 谢谢 5分
您好，很高兴为您解答：

1、适应产品型号600、601、692、693、701、800、801、690、691、790、791、880、881、890、896、900、901、950、960。2、配置功能解释客户出于保密等原因不再用系统默认的abc 123来登录监控软件，可以通过在用户管理里面更改自己想用的系统用户的用户名和密码来登录。3、配置实例打开监控软件找到系统设置里面用户管理的系统用户。先添加一个临时的系统用户：在用户名 密码位置输入然后点击添加，赋予临时用户权限：打上对勾点击更改确定如图：

登录临时用户123 123如图：

进入系统设置的用户管理选中abc 123。输入要更改的用户名密码后点击更改确定。

然后登录aaa aaa

进入用户管理把123 123删除。4、注意事项添加用户权限时，权限打钩后须点击更改确定后才能正常添加。

感谢您的支持！如有疑问，可以继续向我们提问！
中维世纪监控分控系统如何设置。说的详细点
此软件的安装包括中维‘安防全球通网络分控系统’及‘IE插件’两部分，其中‘中维安防全球通网络分控系统’可以用于中维600、601、692、693、800、801等系列板卡的安防全球通实时连接及录像文件的查看；IE插件和客户端一样，为上述板卡专用。不懂的还可以百度 安保联盟 这个他们懂。
电脑怎么连接中维世纪硬盘录像机 （最简单的方法）
通过交换机连接，电脑和录像机的IP设置成一个网段，电脑上直接用IE输入录像机的IP地址就可以访问了。
中维高清监控系统在手机端用什么 10分
中维机子最好设置了。我是山西忻州的安防公司，以前用的最多的就是中维机子。

录像机菜单里选网络配置，把“自动获取网络地址”勾选了，然后刷新，然后看到连接成功。再记住一个“云视通号码”。

然后在手机里安装一个中维远程监控软件，打开后填入云视通号码和密码（一般是123），按提示打开就行了。

手机软件有安卓的和苹果的，不要安错了。
我店里是中维世纪的监控，一共7个摄像头，我在家里电脑装了中维世纪的软件，怎么画面只有一路画面
是不是每个通道都要输入一下地址,你只输入了一个地址下面是中维世纪官方服务电话,打电话具体问一下吧

客服电话：400-630-7888

---