python多线程

有很多的场景中的事情是同时进州滑行的,比如开车的时候,手和脚共同来驾驶汽车,再比如唱歌跳舞也是同时进行的

结果:

• _thread

• threading(推荐使用)

结果:

threading.enumerate() 可查看当前正在运行的线程

结果:

结果:

结果:

结果: 出现资源竞争导致计算结果不正确

(1)当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制

(2)线程同步能够保证多个线程安全访问资源,最简单的同步机制是引入互斥锁

(3)互斥锁为资源引入一个状态: 锁定/非锁定

(4)某个线程要更爱共享数据时,先将其锁定,此时资源的状态为"锁定", 其他线程不能更改直到该线程释放资源,将资源状态变为"非锁定"

(5)互斥锁保证了每次只有一个线程进行写入 *** 作,从而保证了多线程情况下数据的正确性

结果: 计算正确

结果:卡住了

在线程间共享多个资源的时候,如果两个线程乱或分别战友一部分资源且同时等待对方资源,就会造成死锁

(1)程序设计时避免(银行家算法册陪腊)

(2)添加超时时间

Python实现简单多线程任务队列

最近我在用梯度下降算法绘制神经网络的数据时，遇到了一些算法性能的问题。梯度下降算法的代码如下（伪代码）：

defgradient_descent(): # the gradient descent code plotly.write(X, Y)

一般来说，当网络请求 plot.ly 绘图时会阻塞等待返回，租裂于是也会影响到其他的梯度下降函数的执行速度。

一种解决办法是每调用一次 plotly.write 函数就开启一个新的线程，但是这种方法感觉不是很好。 我不想用一个像 cerely（一种分布式任务队列）一样大而全的任务队列框架，因为框架对于我的这点需求来说太重了，并且我的绘图也并不需要 redis 来持久化数据。

那用什么办法解决呢？我在 python 中写了一个很小的任务队列，它可以在一个单独的线程中调用 plotly.write函数。下面是程序代码。

fromthreadingimportThreadimportQueueimporttime classTaskQueue(Queue.Queue):

首先我们继承 Queue.Queue 类。从 Queue.Queue 类可以继承 get 和 put 方法，以及队列的行为。

def__init__(self, num_workers=1): Queue.Queue.__init__(self) self.num_workers=num_workers self.start_workers()

初始化的时候，我们可以不用考虑工作线程的数量。

defadd_task(self, task,*args,**kwargs): args=argsor() kwargs=kwargsor{} self.put((task, args, kwargs))

我们把 task, args, kwargs 以元组的形式存储在队列中。*args 可以传递数量不等的参数，**kwargs 可以传递命名参数。

defstart_workers(self): foriinrange(self.num_workers):t=Thread(target=self.worker)t.daemon=Truet.start()

我们为每个 worker 创建一个线程，然后在后台删除。

下面是 worker 函数的代码：

defworker(self): whileTrue:tupl=self.get()item, args, kwargs=self.get()item(*args,**kwargs)self.task_done()

worker 函数获取队列顶端的任务，并根据输入参数运行，除此之外，没有其他的功能。下面是队列的代码：

我们可以通过下面的代码测试：

defblokkah(*args,**kwargs): time.sleep(5) print“Blokkah mofo!” q=TaskQueue(num_workers=5) foriteminrange(1): q.add_task(blokkah) q.join()# wait for all the tasks to finish. print“Alldone!”

Blokkah 是我们要做的任务名称。队列已经缓存在内存中，并且没有执行很多任务。下面的步骤是把主队列当做单独的进程来运行，这样主程序退出以及执行数据库持久化时，队列任务不会停止运行。但是这个例子很好地巧冲展示了如何从一个很简单的小任务写成像工作队列这样复弊宽闭杂的程序。

defgradient_descent(): # the gradient descent code queue.add_task(plotly.write, x=X, y=Y)

修改之后，我的梯度下降算法工作效率似乎更高了。如果你很感兴趣的话，可以参考下面的代码。fromthreadingimportThreadimportQueueimporttime classTaskQueue(Queue.Queue): def__init__(self, num_workers=1):Queue.Queue.__init__(self)self.num_workers=num_workersself.start_workers() defadd_task(self, task,*args,**kwargs):args=argsor()kwargs=kwargsor{}self.put((task, args, kwargs)) defstart_workers(self):foriinrange(self.num_workers):t=Thread(target=self.worker)t.daemon=Truet.start() defworker(self):whileTrue:tupl=self.get()item, args, kwargs=self.get()item(*args,**kwargs)self.task_done() deftests():defblokkah(*args,**kwargs):time.sleep(5)print"Blokkah mofo!" q=TaskQueue(num_workers=5) foriteminrange(10):q.add_task(blokkah) q.join()# block until all tasks are doneprint"All done!" if__name__=="__main__":tests()

---