基于go的websocket消息推送的集群实现

目前websocket技术已经很成熟，选型Go语言，当然是为了节省成本以及它强大的高并发性能。我使用的是第三方开源的websocket库即gorilla/websocket。

由于我们线上推送的量不小，推送后端需要部署多节点保持高可用，所以需要自己做集群，具体架构方案如图：

Auth Service：鉴权服务，根据Token验证用户权限。

Collect Service：消息采集服务，负责收集业务系统消息，存入MongoDB后，发送给消息分发服务。

Dispatch Service：消息分发服务，根据路由规则分发至对应消息推送服务节点上。

Push Service：消息推送服务，通过websocket将消息推送给用户。

集群推送的关键点在于，web端与服务端建立长连接之后，具体跟哪个推送节点保持长连接的，如果我们能够找到对应的连接节点，那么我们就可以将消息推送出去。下面讲解一下集群的大致流程：

1> web端用户登录之后，带上token与后端推送服务（Push Service）保持长连接。

2> 推送服务收到连接请求之后，携带token去鉴权服务（Auth Service）验证此token权限，并返回用户ID。

3> 把返回的用户ID与长连接存入本地缓存，保持用户ID与长连接绑定关系。

4> 再将用户ID与本推送节点IP存入redis，建立用户（即长连接）与节点绑定关系，并设置失效时间。

5> 采集服务（Collect Service）收集业务消息，首先存入mongodb，然后将消息透传给分发服务（Dispatch Service）。

6> 分发服务收到消息之后，根据消息体中的用户ID，从redis中获取对应的推送服务节点IP，然后转发给对应的推送节点。

7> 推送服务节点收到消息之后，根据用户ID，从本地缓存中取出对应的长连接，将消息推送给客户端。

其他注意事项：

部署简单。Go编译生成的是一个静态可执行文件，除了glibc外没有其他外部依赖。这让部署变得异常方便：目标机器上只需要一个基础的系统和必要的管理、监控工具，完全不需要 *** 心应用所需的各种包、库的依赖关系，大大减轻了维护的负担。这和Python有着巨大的区别。由于历史的原因，Python的部署工具生态相当混乱比如setuptools,distutils,pip,

buildout的不同适用场合以及兼容性问题。官方PyPI源又经常出问题，需要搭建私有镜像，而维护这个镜像又要花费不少时间和精力。

并发性好。Goroutine和channel使得编写高并发的服务端软件变得相当容易，很多情况下完全不需要考虑锁机制以及由此带来的各种问题。单个Go应用也能有效的利用多个CPU核，并行执行的性能好。这和Python也是天壤之比。多线程和多进程的服务端程序编写起来并不简单，而且由于全局锁GIL的原因，多线程的Python程序并不能有效利用多核，只能用多进程的方式部署;如果用标准库里的multiprocessing包又会对监控和管理造成不少的挑战我们用的supervisor管理进程，对fork支持不好。部署Python应用的时候通常是每个CPU核部署一个应用，这会造成不少资源的浪费，比如假设某个Python应用启动后需要占用100MB内存，而服务器有32个CPU核，那么留一个核给系统、运行31个应用副本就要浪费3GB的内存资源。

良好的语言设计。从学术的角度讲Go语言其实非常平庸，不支持许多高级的语言特性;但从工程的角度讲，Go的设计是非常优秀的：规范足够简单灵活，有其他语言基础的程序员都能迅速上手。更重要的是Go自带完善的工具链，大大提高了团队协作的一致性。比如gofmt自动排版Go代码，很大程度上杜绝了不同人写的代码排版风格不一致的问题。把编辑器配置成在编辑存档的时候自动运行gofmt，这样在编写代码的时候可以随意摆放位置，存档的时候自动变成正确排版的代码。此外还有gofix,

govet等非常有用的工具。

执行性能好。虽然不如C和Java，但通常比原生Python应用还是高一个数量级的，适合编写一些瓶颈业务。内存占用也非常省。

本教程介绍了使用 Godatabase/sql及其标准库中的包访问关系数据库的基础知识。

您将使用的database/sql包包括用于连接数据库、执行事务、取消正在进行的 *** 作等的类型和函数。

在本教程中，您将创建一个数据库，然后编写代码来访问该数据库。您的示例项目将是有关老式爵士乐唱片的数据存储库。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 data-access 的目录。

3、创建一个模块，您可以在其中管理将在本教程中添加的依赖项。

运行go mod init命令，为其提供新代码的模块路径。

此命令创建一个 gomod 文件，您添加的依赖项将在其中列出以供跟踪。

注意： 在实际开发中，您会指定一个更符合您自己需求的模块路径。有关更多信息，请参阅一下文章。

GO语言（二十五）：管理依赖项（上）

GO语言（二十六）：管理依赖项（中）

GO语言（二十七）：管理依赖项（下）

接下来，您将创建一个数据库。

在此步骤中，您将创建要使用的数据库。您将使用 DBMS 本身的 CLI 创建数据库和表，以及添加数据。

您将创建一个数据库，其中包含有关黑胶唱片上的老式爵士乐录音的数据。

这里的代码使用MySQL CLI，但大多数 DBMS 都有自己的 CLI，具有类似的功能。

1、打开一个新的命令提示符。

在命令行，登录到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，创建一个数据库。

3、切到您刚刚创建的数据库，以便您可以添加表。

4、在文本编辑器的 data-access 文件夹中，创建一个名为 create-tablessql 的文件来保存用于添加表的 SQL 脚本。

将以下 SQL 代码粘贴到文件中，然后保存文件。

在此 SQL 代码中：

（1）删除名为album表。 首先执行此命令可以让您更轻松地稍后重新运行脚本。

（2）创建一个album包含四列的表：title、artist和price。每行的id值由 DBMS 自动创建。

（3）添加带有值的四行。

5、在mysql命令提示符下，运行您刚刚创建的脚本。

您将使用以下形式的source命令：

6、在 DBMS 命令提示符处，使用SELECT语句来验证您是否已成功创建包含数据的表。

接下来，您将编写一些 Go 代码进行连接，以便进行查询。

现在你已经有了一个包含一些数据的数据库，开始你的 Go 代码。

找到并导入一个数据库驱动程序，该驱动程序会将您通过database/sql包中的函数发出的请求转换为数据库可以理解的请求。

1、在您的浏览器中，访问SQLDrivers wiki 页面以识别您可以使用的驱动程序。

2、使用页面上的列表来识别您将使用的驱动程序。为了在本教程中访问 MySQL，您将使用 Go-MySQL-Driver。

3、请注意驱动程序的包名称 - 此处为githubcom/go-sql-driver/mysql

4、使用您的文本编辑器，创建一个用于编写 Go 代码的文件，并将该文件作为 maingo 保存在您之前创建的数据访问目录中。

5、进入maingo，粘贴以下代码导入驱动包。

在此代码中：

（1）将您的代码添加到main包中，以便您可以独立执行它。

（2）导入 MySQL 驱动程序githubcom/go-sql-driver/mysql。

导入驱动程序后，您将开始编写代码以访问数据库。

现在编写一些 Go 代码，让您使用数据库句柄访问数据库。

您将使用指向结构的指针sqlDB，它表示对特定数据库的访问。

编写代码

1、进入 maingo，在import您刚刚添加的代码下方，粘贴以下 Go 代码以创建数据库句柄。

在此代码中：

（3）使用 MySQL 驱动程序Config和FormatDSN类型以收集连接属性并将它们格式化为连接字符串的 DSN。

该Config结构使代码比连接字符串更容易阅读。

（4）调用sqlOpen 初始化db变量，传递 FormatDSN。

（5）检查来自 的错误sqlOpen。例如，如果您的数据库连接细节格式不正确，它可能会失败。

为了简化代码，您调用logFatal结束执行并将错误打印到控制台。在生产代码中，您会希望以更优雅的方式处理错误。

（6）调用DBPing以确认连接到数据库有效。在运行时， sqlOpen可能不会立即连接，具体取决于驱动程序。您在Ping此处使用以确认 database/sql包可以在需要时连接。

（7）检查来自Ping的错误，以防连接失败。

（8）Ping如果连接成功，则打印一条消息。

文件的顶部现在应该如下所示：

3、保存 maingo。

1、开始跟踪 MySQL 驱动程序模块作为依赖项。

使用go get 添加 githubcom/go-sql-driver/mysql 模块作为您自己模块的依赖项。使用点参数表示“获取当前目录中代码的依赖项”。

2、在命令提示符下，设置Go 程序使用的DBUSER和DBPASS环境变量。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 maingo 的目录中的命令行中，通过键入go run来运行代码。

连接成功了！

接下来，您将查询一些数据。

Goroutine调度是一个很复杂的机制，下面尝试用简单的语言描述一下Goroutine调度机制，想要对其有更深入的了解可以去研读一下源码。

首先介绍一下GMP什么意思：

G ----------- goroutine: 即Go协程，每个go关键字都会创建一个协程。

M ---------- thread内核级线程，所有的G都要放在M上才能运行。

P ----------- processor处理器，调度G到M上，其维护了一个队列，存储了所有需要它来调度的G。

Goroutine 调度器P和 OS 调度器是通过 M 结合起来的，每个 M 都代表了 1 个内核线程，OS 调度器负责把内核线程分配到 CPU 的核上执行

模型图：

避免频繁的创建、销毁线程，而是对线程的复用。

1）work stealing机制

  当本线程无可运行的G时，尝试从其他线程绑定的P偷取G，而不是销毁线程。

2）hand off机制

  当本线程M0因为G0进行系统调用阻塞时，线程释放绑定的P，把P转移给其他空闲的线程执行。进而某个空闲的M1获取P，继续执行P队列中剩下的G。而M0由于陷入系统调用而进被阻塞，M1接替M0的工作，只要P不空闲，就可以保证充分利用CPU。M1的来源有可能是M的缓存池，也可能是新建的。当G0系统调用结束后，根据M0是否能获取到P，将会将G0做不同的处理：

如果有空闲的P，则获取一个P，继续执行G0。

如果没有空闲的P，则将G0放入全局队列，等待被其他的P调度。然后M0将进入缓存池睡眠。

如下图

GOMAXPROCS设置P的数量，最多有GOMAXPROCS个线程分布在多个CPU上同时运行

在Go中一个goroutine最多占用CPU 10ms，防止其他goroutine被饿死。

具体可以去看另一篇文章

Golang详解go语言调度机制 抢占式调度

当创建一个新的G之后优先加入本地队列，如果本地队列满了，会将本地队列的G移动到全局队列里面，当M执行work stealing从其他P偷不到G时，它可以从全局G队列获取G。

协程经历过程

我们创建一个协程 go func()经历过程如下图：

说明：

这里有两个存储G的队列，一个是局部调度器P的本地队列、一个是全局G队列。新创建的G会先保存在P的本地队列中，如果P的本地队列已经满了就会保存在全局的队列中；处理器本地队列是一个使用数组构成的环形链表，它最多可以存储 256 个待执行任务。

G只能运行在M中，一个M必须持有一个P，M与P是1：1的关系。M会从P的本地队列d出一个可执行状态的G来执行，如果P的本地队列为空，就会想其他的MP组合偷取一个可执行的G来执行；

一个M调度G执行的过程是一个循环机制；会一直从本地队列或全局队列中获取G

上面说到P的个数默认等于CPU核数，每个M必须持有一个P才可以执行G，一般情况下M的个数会略大于P的个数，这多出来的M将会在G产生系统调用时发挥作用。类似线程池，Go也提供一个M的池子，需要时从池子中获取，用完放回池子，不够用时就再创建一个。

work-stealing调度算法：当M执行完了当前P的本地队列队列里的所有G后，P也不会就这么在那躺尸啥都不干，它会先尝试从全局队列队列寻找G来执行，如果全局队列为空，它会随机挑选另外一个P，从它的队列里中拿走一半的G到自己的队列中执行。

如果一切正常，调度器会以上述的那种方式顺畅地运行，但这个世界没这么美好，总有意外发生，以下分析goroutine在两种例外情况下的行为。

Go runtime会在下面的goroutine被阻塞的情况下运行另外一个goroutine：

用户态阻塞/唤醒

当goroutine因为channel *** 作或者network I/O而阻塞时（实际上golang已经用netpoller实现了goroutine网络I/O阻塞不会导致M被阻塞，仅阻塞G，这里仅仅是举个栗子），对应的G会被放置到某个wait队列(如channel的waitq)，该G的状态由_Gruning变为_Gwaitting，而M会跳过该G尝试获取并执行下一个G，如果此时没有可运行的G供M运行，那么M将解绑P，并进入sleep状态；当阻塞的G被另一端的G2唤醒时（比如channel的可读/写通知），G被标记为，尝试加入G2所在P的runnext（runnext是线程下一个需要执行的 Goroutine。）， 然后再是P的本地队列和全局队列。

系统调用阻塞

当M执行某一个G时候如果发生了阻塞 *** 作，M会阻塞，如果当前有一些G在执行，调度器会把这个线程M从P中摘除，然后再创建一个新的 *** 作系统的线程(如果有空闲的线程可用就复用空闲线程)来服务于这个P。当M系统调用结束时候，这个G会尝试获取一个空闲的P执行，并放入到这个P的本地队列。如果获取不到P，那么这个线程M变成休眠状态， 加入到空闲线程中，然后这个G会被放入全局队列中。

队列轮转

可见每个P维护着一个包含G的队列，不考虑G进入系统调用或IO *** 作的情况下，P周期性的将G调度到M中执行，执行一小段时间，将上下文保存下来，然后将G放到队列尾部，然后从队列中重新取出一个G进行调度。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

M0

M0是启动程序后的编号为0的主线程，这个M对应的实例会在全局变量rutimem0中，不需要在heap上分配，M0负责执行初始化 *** 作和启动第一个G，在之后M0就和其他的M一样了

G0

G0是每次启动一个M都会第一个创建的goroutine，G0仅用于负责调度G，G0不指向任何可执行的函数，每个M都会有一个自己的G0，在调度或系统调用时会使用G0的栈空间，全局变量的G0是M0的G0

一个G由于调度被中断，此后如何恢复？

中断的时候将寄存器里的栈信息，保存到自己的G对象里面。当再次轮到自己执行时，将自己保存的栈信息复制到寄存器里面，这样就接着上次之后运行了。

我这里只是根据自己的理解进行了简单的介绍，想要详细了解有关GMP的底层原理可以去看Go调度器 G-P-M 模型的设计者的文档或直接看源码

参考： (>

1、简单易学。

Go语言的作者本身就很懂C语言，所以同样Go语言也会有C语言的基因，所以对于程序员来说，Go语言天生就会让人很熟悉，容易上手。

2、并发性好。

Go语言天生支持并发，可以充分利用多核，轻松地使用并发。 这是Go语言最大的特点。

描述

Go的语法接近C语言，但对于变量的声明有所不同。Go支持垃圾回收功能。Go的并行模型是以东尼·霍尔的通信顺序进程（CSP）为基础，采取类似模型的其他语言包括Occam和Limbo，但它也具有Pi运算的特征，比如通道传输。

在18版本中开放插件（Plugin）的支持，这意味着现在能从Go中动态加载部分函数。

与C++相比，Go并不包括如枚举、异常处理、继承、泛型、断言、虚函数等功能，但增加了 切片(Slice) 型、并发、管道、垃圾回收、接口（Interface）等特性的语言级支持。

以上就是关于基于go的websocket消息推送的集群实现全部的内容，包括:基于go的websocket消息推送的集群实现、为什么要使用 Go 语言，Go 语言的优势在哪里、GO语言（三十）：访问关系型数据库（上）等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！