cpu个数、核数、线程数的关系

cpu个数：是指物理上，也及硬件上的核心数；

核数：是逻辑上的，简单理解为逻辑上模拟出的核心数；

线程数：是同一时刻设备能并行执行的程序个数，线程数=cpu个数 * 核数

首先明白几个概念：

(1) 单个cpu线程在同一时刻只能执行单一Java程序，也就是一个线程

(2) 单个线程同时只能在单个cpu线程中执行

(3) 线程是 *** 作系统最小的调度单位，进程是资源（比如：内存）分配的最小单位

(4)Java中的所有线程在JVM进程中,CPU调度的是进程中的线程

(5)Java多线程并不是由于cpu线程数为多个才称为多线程，当Java线程数大于cpu线程数， *** 作系统使用时间片机制，采用线程调度算法，频繁的进行线 程切换。

a 那么java多进程，每个进程又多线程，cpu是如何调度的呢？

个人理解： *** 作系统并不是单纯均匀的分配cpu执行不同的进程，因为线程是调度的最小单位，所以会根据不同进程中的线程个数进行时间分片，均匀的执 行每个线程，也就是说A进程中有10个线程，而B进程中有2个进程，那么cpu分给进程的执行时间理论上应该是5:1才合理。

b cpu线程数和java线程数有直接关系吗？

个人理解：没有直接关系，正如上面所说，cpu采用分片机制执行线程，给每个线程划分很小的时间颗粒去执行，但是真正的项目中，线程要做很多的的 *** 作，读写磁盘、数据逻辑处理、出于业务需求必要的休眠等等 *** 作。

c 如何确定程序线程数？

个人理解：一般情况程序线程数等于cpu线程数的两好慧到三倍就能很好的利用cpu了，过多的程序线程数不但不会提高性能，反而还会因为线程间的频繁切换 而受影响，具体需要根据线迅迟程处理的业务考略，不亩袜李断调整线程数个数，确定当前系统最优的线程数。

最近在做一个爬虫相关的项目，单线程的整站爬虫，耗时真的不是一般的巨大，运行一次也是心累，，，所以，要想实现整站爬虫，多线程是不可避免的，那么python多线程又应该怎样实现呢？这里主要要几个问题（关于python多线程的GIL问题就不再说了，网上太多了）。

一、 既然多线程可以缩短程序运行时间，那么，是不是线程数量越多越好呢？

显然，并不是，每一个线程的从生成到消亡也是需要时间和资源的，太多的线程会占用过多的系统资源（内存开销，cpu开销），而且生成太此告隐多的线程时间也是可观的，很可能会得不偿失，这里给出一个最佳线程数量的计算方式：

最佳线程数的获取：

1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间

2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量

3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。

二、为什么要使用线程池？

对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控，例如，整站爬虫，假森厅设初始只有一个链接a，那么，这个时候只启动一个线程，运行之后，得到这个链接对应页面上的b，c，d，，，等等新的链接，作为新任务，这个时候，就要为这些新的链接生成新的线程，线程数量暴涨。在之后的运行中，线程数量还会不停的增加，完全无法控制。所以，对于任务数量不端增加的程序，固定线程数量的线程池是友做必要的。

三、如何使用线程池

过去使用threadpool模块，现在一般使用concurrent.futures模块，这个模块是python3中自带的模块，但是，python2.7以上版本也可以安装使用，具体使用方式如下：

注意到：

concurrent.futures.ThreadPoolExecutor，在提交任务的时候，有两种方式，一种是submit（）函数，另一种是map（）函数，两者的主要区别在于：

查看系统允许的最大线程数：

Linux无法直接控制单个进程可拥有的线程数，但有参考公式max = VM/stack_size，默认stack为8k，可通过降低stack大小或增加虚拟内存来调大每个进程可拥有的最大线程数；

对于支持多线程的程序如Java，有可能会遇到一个进弯中程无法创建更多线程的情形，其原因多种多样，而OS端可能由此参数造成.

查看系统允许的最大进程数：

ulimit -a 显示当前所有的资源限制

root用户下执行 ulimit -a 然后查看 max user processes这个值通常是系统最大线程数的一半：/proc/sys/kernel/threads-max/2

普通用户下 ulimit -u 出现的max user processes的值 默认是 /etc/security/limits.d/20-nproc.conf（centos6 是90-nproc.conf） 文件中的

普通用户默认是1024

打开/etc/security/limits.conf (部分的系统是在/etc/security/limits.d/90-nproc.conf)

设置限制数量，第一列表示用户，* 表示所有用户

soft nproc ：单个用户可用的最大进程数量(超过会警告)

hard nproc：单个用户可用的最大进程数量(超过会埋胡山报错)

soft nofile ：可打开的文件描述符的最大数(超过会警告)

hard nofile ：可打开的文件描述符的最大数(超过会报错)

重启后生效

reboot

查询当前某程序的线程数

pstree -p 进程号 | wc -l

管道符号"|"左边命令的输出作为右边命令的输入

直接修改/etc/security/limits.conf 文件中的 * softnproc 65535 值后，普通用户最大进程数无法达到65535 ，因为用户的max user processes的值，最后是受全局的kernel.pid_max的值限制。也就是说kernel.pid_max=1024 ，那么你用户的max user processes的值是127426 ，用户能打开的最大进程数还是1024。

永久修改系统最高进程数的方法

在/etc/sysctl.conf中添加kernel.pid_max = 65535

vim /etc/sysctl.conf

kernel.pid_max = 65535

或者：

echo "kernel.pid_max = 65535" >>/etc/sysctl.conf

然后重启机器。

临时修改的方法：

echo 65535 >/proc/sys/kernel/pid_max

所以以上都 *** 作做槐完成后，才算是正确修改了max user processes 的值

---