Netty之路(二)TCP拆包粘包问题

Netty之路(二)TCP拆包粘包问题,第1张

TCP传输协议是面向流的,就是没有界限的一串数据。TCP底层并不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP拆分成多个包就行发送,也有可能把多个小的包封装成一个大的数据包发送,这就是所谓的TCP拆包和粘包问题。

假设客户端分别发送了两个数据包D1和D2给服务端,由于服务端一次读取到字节数是不确定的,故可能存在以下四种情况:

服务端分两次读取到了两个独立的数据包,分别是D1和D2,没有粘包和拆包

服务端一次接受到了两个数据包,D1和D2粘合在一起,称之为TCP粘包

服务端分两次读取到了数据包,第一次读取到了完整的D1包和D2包的部分内容,第二次读取到了D2包的剩余内容,这称之为TCP拆包

服务端分两次读取到了数据包,第一次读取到了D1包的部分内容D1_1,第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。

特别要注意的是,如果TCP的接受滑窗非常小,而数据包D1和D2比较大,很有可能会发生第五种情况,即服务端分多次才能将D1和D2包完全接受,期间发生多次拆包。

在网络通信的过程中,每次可以发送的数据包大小是受多种因素限制的,如 MTU 传输单元大小、MSS 最大分段大小、滑动窗口等。如果一次传输的网络包数据大小超过传输单元大小,那么我们的数据可能会拆分为多个数据包发送出去。如果每次请求的网络包数据都很小,一共请求了 10000 次,TCP 并不会分别发送 10000 次。因为 TCP 采用的 Nagle 算法对此作出了优化。

MTU(Maxitum Transmission Unit) 是链路层一次最大传输数据的大小。MTU 一般来说大小为 1500 byte。MSS(Maximum Segement Size) 是指 TCP 最大报文段长度,它是传输层一次发送最大数据的大小。如下图所示,MTU 和 MSS 一般的计算关系为:MSS = MTU - IP 首部 - TCP首部,如果 MSS + TCP 首部 + IP 首部 >MTU,那么数据包将会被拆分为多个发送。这就是拆包现象。

滑动窗口是 TCP 传输层用于流量控制的一种有效措施,也被称为通告窗口。滑动窗口是数据接收方设置的窗口大小,随后接收方会把窗口大小告诉发送方,以此限制发送方每次发送数据的大小,从而达到流量控制的目的。这样数据发送方不需要每发送一组数据就阻塞等待接收方确认,允许发送方同时发送多个数据分组,每次发送的数据都会被限制在窗口大小内。由此可见,滑动窗口可以大幅度提升网络吞吐量。

现在来看一下滑动窗口是如何造成粘包、拆包的?

粘包:假设发送方的每256 bytes表示一个完整的报文,接收方由于数据处理不及时,这256个字节的数据都会被缓存到SO_RCVBUF(接收缓存区)中。如果接收方的SO_RCVBUF中缓存了多个报文,那么对于接收方而言,这就是粘包。

拆包:考虑另外一种情况,假设接收方的窗口只剩了128,意味着发送方最多还可以发送128字节,而由于发送方的数据大小是256字节,因此只能发送前128字节,等到接收方ack后,才能发送剩余字节。这就造成了拆包。

TCP/IP协议中,无论发送多少数据,总是要在数据(DATA)前面加上协议头(TCP Header+IP Header),同时,对方接收到数据,也需要发送ACK表示确认。

即使从键盘输入的一个字符,占用一个字节,可能在传输上造成41字节的包,其中包括1字节的有用信息和40字节的首部数据。这种情况转变成了4000%的消耗,这样的情况对于重负载的网络来是无法接受的。

为了尽可能的利用网络带宽,TCP总是希望尽可能的发送足够大的数据。(一个连接会设置MSS参数,因此,TCP/IP希望每次都能够以MSS尺寸的数据块来发送数据)。

Nagle算法就是为了尽可能发送大块数据,避免网络中充斥着许多小数据块。

Nagle算法的基本定义是任意时刻,最多只能有一个未被确认的小段。 所谓“小段”,指的是小于MSS尺寸的数据块,所谓“未被确认”,是指一个数据块发送出去后,没有收到对方发送的ACK确认该数据已收到。

Nagle算法的规则:

由于底层的TCP无法理解上层的业务数据,所以在底层是无法保证数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决,根据业界的主流协议的解决方案,可以归纳如下:

消息定长法使用非常简单,但是缺点也非常明显,无法很好设定固定长度的值,如果长度太大会造成字节浪费,长度太小又会影响消息传输,所以在一般情况下消息定长法不会被采用。

由于在发送报文时尾部需要添加特定分隔符,所以对于分隔符的选择一定要避免和消息体中字符相同,以免冲突。否则可能出现错误的消息拆分。比较推荐的做法是将消息进行编码,例如 base64 编码,然后可以选择 64 个编码字符之外的字符作为特定分隔符。特定分隔符法在消息协议足够简单的场景下比较高效,例如大名鼎鼎的 Redis 在通信过程中采用的就是换行分隔符。

消息长度 + 消息内容的使用方式非常灵活,且不会存在消息定长法和特定分隔符法的明显缺陷。当然在消息头中不仅只限于存放消息的长度,而且可以自定义其他必要的扩展字段,例如消息版本、算法类型等。

代码:

public class EchoClient {

private final static int readerIdleTimeSeconds = 40//读 *** 作空闲30秒

private final static int writerIdleTimeSeconds = 50//写 *** 作空闲60秒

private final static int allIdleTimeSeconds = 100//读写全部空闲100秒

public void connect(int port, String host) throws Exception {

// 配置客户端NIO线程组

EventLoopGroup group = new NioEventLoopGroup()

try {

Bootstrap b = new Bootstrap()

b.group(group).channel(NioSocketChannel.class)

.option(ChannelOption.TCP_NODELAY, true)

.handler(new ChannelInitializer<SocketChannel>() {

@Override

public void initChannel(SocketChannel ch)

throws Exception {

ByteBuf delimiter = Unpooled.copiedBuffer("$_".getBytes())

ch.pipeline().addLast("idleStateHandler", new IdleStateHandler(readerIdleTimeSeconds, writerIdleTimeSeconds,allIdleTimeSeconds))

ch.pipeline().addLast( new DelimiterBasedFrameDecoder(1024, delimiter))

ch.pipeline().addLast(new StringDecoder())

ch.pipeline().addLast(new EchoClientHandler())

}

})

// 发起异步连接 *** 作

ChannelFuture f = b.connect(host, port).sync()

// 当代客户端链路关闭

f.channel().closeFuture().sync()

} finally {

// 优雅退出,释放NIO线程组

group.shutdownGracefully()

}

}

/**

* @param args

* @throws Exception

*/

public static void main(String[] args) throws Exception {

int port = 8080

if (args != null &&args.length >0) {

try {

port = Integer.valueOf(args[0])

} catch (NumberFormatException e) {

// 采用默认值

}

}

new EchoClient().connect(port, "127.0.0.1")

}

}

在netty的客户端中添加:

ch.pipeline().addLast("idleStateHandler", new IdleStateHandler(readerIdleTimeSeconds, writerIdleTimeSeconds,allIdleTimeSeconds))

这个处理器,它的作用就是用来检测客户端的读取超时的,该类的第一个参数是指定读 *** 作空闲秒数,第二个参数是指定写 *** 作的空闲秒数,第三个参数是指

定读写空闲秒数,当有 *** 作 *** 作超出指定空闲秒数时,便会触发UserEventTriggered事件。所以我们只需要在自己的handler中截获该事

件,然后发起相应的 *** 作即可(比如说发起ping *** 作)。以下是我们自定义的handler中的代码:

public class EchoClientHandler extends ChannelHandlerAdapter {

private int counter

static final String ECHO_REQ = "Hi, Lilinfeng. Welcome to Netty.$_"

public EchoClientHandler() {

}

@Override

public void channelActive(ChannelHandlerContext ctx) {

for (int i = 0i <10i++) {

ctx.writeAndFlush(Unpooled.copiedBuffer(ECHO_REQ.getBytes()))

}

}

@Override

public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {

System.out.println("This is " + ++counter + " times receive server : [" + msg + "]")

}

@Override

public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {

ctx.flush()

}

@Override

public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {

cause.printStackTrace()

ctx.close()

}

@Override

public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Exception {

if (IdleStateEvent.class.isAssignableFrom(evt.getClass())) {

IdleStateEvent event = (IdleStateEvent) evt

if (event.state() == IdleState.READER_IDLE)

System.out.println("read idle")

else if (event.state() == IdleState.WRITER_IDLE)

System.out.println("write idle")

else if (event.state() == IdleState.ALL_IDLE)

System.out.println("all idle")

}

}

很有可能,我程序编码是utf-8,通过电脑cmd终端telnet 之后发,服务器端一直收不到请求。终端不是utf-8编码。在同一个程序中用netty 客户端发,netty服务器可以收到


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11479550.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-16
下一篇 2023-05-16

发表评论

登录后才能评论

评论列表(0条)

保存