Go 限制同时执行的线程数

Go 限制同时执行的线程数,第1张

假设,现在有1w个任务,需要通过线程并发执行。如果直接执行,会把内存撑爆。需要让这些任务一批一批执行。如果设定,每次最多同时执行10个任务。

需要用到通道channel,利用channel的limit,通过堵塞通道的方式,把进程堵住。

实现指定个核心最大化使用,比如核心总数减一。

必要的库。

要使用的cpu数量,建议不全使用。

建立管道

声明使用的cpu数。

建立互斥关系,本例中主要为了实现所有线程执行完后再执行后续程序。

创建cpu数减1个线程

后面每个任务结束时要done一个wg,这里根据具体情况加,是循环就在每个循环里加,保证后面能全部done即可

没有缓冲的、阻塞式的往管道传递字符串。

Wait是等所有线程都执行完,即增加的数字被全done掉。

关闭管道。

假设已有的函数是ReadLogs,在它的基础上加个Wg加函数名的新函数,我觉得这种方式不改变原有的,比较舒服。

大意是:循环从管道读取字符串,读不到了就跳出循环。

每个ReadLogs()之后加一个wg.Done(),相当于计数减一。

ReadLogs()就是要执行的任务,不再解释。

就是开指定个线程。

管道阻塞传值。

wg同步。

WgReadLogs循环接收。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/11250599.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-14
下一篇 2023-05-14

发表评论

登录后才能评论

评论列表(0条)

保存