如何在Python中编写并发程序

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.

我们可以先初始化一个tasks队列,里面将要存储的是一系列dest_url,同时开启4个进程向tasks中取任务然后执行,处理结果存储在一个results队列中,最后对results中的结果进行解析.最后关闭两个队列.

下面是一些主要的逻辑代码.

# -*- coding:utf-8 -*-

#IO密集型任务

#多个进程同时下载多个网页

#利用Queue+多进程

#由于是IO密集型,所以同样可以利用threading模块

import multiprocessing

def main():

tasks = multiprocessing.JoinableQueue()

results = multiprocessing.Queue()

cpu_count = multiprocessing.cpu_count() #进程数目==CPU核数目

create_process(tasks, results, cpu_count) #主进程马上创建一系列进程,但是由于阻塞队列tasks开始为空,副进程全部被阻塞

add_tasks(tasks) #开始往tasks中添加任务

parse(tasks, results) #最后主进程等待其他线程处理完成结果

def create_process(tasks, results, cpu_count):

for _ in range(cpu_count):

p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根据_worker创建对应的进程

p.daemon = True #让所有进程可以随主进程结束而结束

p.start() #启动

def _worker(tasks, results):

while True: #因为前面所有线程都设置了daemon=True,故不会无限循环

try:

task = tasks.get() #如果tasks中没有任务,则阻塞

result = _download(task)

results.put(result) #some exceptions do not handled

finally:

tasks.task_done()

def add_tasks(tasks):

for url in get_urls(): #get_urls() return a urls_list

tasks.put(url)

def parse(tasks, results):

try:

tasks.join()

except KeyboardInterrupt as err:

print "Tasks has been stopped!"

print err

while not results.empty():

_parse(results)

if __name__ == '__main__':

main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,编写更加简单易用的多线程/多进程代码.其使用感觉和Java的concurrent框架很相似(借鉴?)

比如下面的简单代码示例

def handler():

futures = set()

with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:

for task in get_task(tasks):

future = executor.submit(task)

futures.add(future)

def wait_for(futures):

try:

for future in concurrent.futures.as_completed(futures):

err = futures.exception()

if not err:

result = future.result()

else:

raise err

except KeyboardInterrupt as e:

for future in futures:

future.cancel()

print "Task has been canceled!"

print e

return result

总结

要是一些大型Python项目也这般编写,那么效率也太低了.在Python中有许多已有的框架使用,使用它们起来更加高效.

但是自己的一些"小打小闹"的程序这样来编写还是不错的.:)

1 使用os.system函数运行其他程序

2 使用ShellExecute函数运行其他程序

3 使用CreateProcess函数运行其他程序

4 使用ctypes调用kernel32.dll中的函数

1 使用os.system函数运行其他程序

os模块中的system()函数可以方便地运行其他程序或者脚本。其函数原型如下所示。

os.system(command) 其参数含义如下所示。

command 要执行的命令，相当于在Windows的cmd窗口中输入的命令。如果要向程序或者脚本传递参数，可以使用空格分隔程序及多个参数。

以下实例实现通过os.system()函数打开系统的记事本程序。

>>>import os # 使用os.system()函数打开记事本程序 >>>os.system('notepad') 0 # 关闭记事本后的返回值 # 向记事本传递参数，打开python.txt文件 >>>os.system('notepad python.txt')

>>>import os # 使用os.system()函数打开记事本程序 >>>os.system('notepad') 0 # 关闭记事本后的返回值 # 向记事本传递参数，打开python.txt文件 >>>os.system('notepad python.txt')

2 使用ShellExecute函数运行其他程序

除了使用os模块中的os.system()函数以外，还可以使用win32api模块中的ShellExecute()函数。其函数如下所示。

ShellExecute(hwnd, op , file , params , dir , bShow )

其参数含义如下所示。

hwnd：父窗口的句柄，如果没有父窗口，则为0。

op：要进行的 *** 作，为“open”、“print”或者为空。

file：要运行的程序，或者打开的脚本。

arams：要向程序传递的参数，如果打开的为文件，则为空。

dir：程序初始化的目录。

Show：是否显示窗口。

以下实例使用ShellExecute函数运行其他程序。

>>>import win32api # 打开记事本程序，在后台运行，即显示记事本程序的窗口 >>>win32api.ShellExecute(0, 'open', 'notepad.exe', '','',0)

# 打开记事本程序，在前台运行 >>>win32api.ShellExecute(0, 'open', 'notepad.exe', '','',1)

# 向记事本传递参数，打开python.txt >>>win32api.ShellExecute(0, 'open', 'notepad.exe', 'python.txt','',1)

# 在默认浏览器中打开http://www.python.org网站 >>>win32api.ShellExecute(0, 'open', 'http://www.python.org', '','',1)

# 在默认的媒体播放器中播放E:\song.wma >>>win32api.ShellExecute(0, 'open', 'E:\\song.wma', '','',1)

# 运行位于E:\book\code目录中的MessageBox.py脚本 >>>win32api.ShellExecute(0, 'open', 'E:\\book\\code\\MessageBox.py', '','',1)

可以看出，使用ShellExecute函数，就相当于在资源管理器中双击文件图标一样，系统会打开相应的应用程序执行 *** 作。

3 使用CreateProcess函数运行其他程序

为了便于控制通过脚本运行的程序，可以使用win32process模块中的CreateProcess()函数。其函数原型如下所示。

CreateProcess(appName, commandLine , processAttributes , threadAttributes , bInheritHandles , dwCreationFlags , newEnvironment , currentDirectory , startupinfo )

CreateProcess(appName, commandLine , processAttributes , threadAttributes , bInheritHandles , dwCreationFlags , newEnvironment , currentDirectory , startupinfo )

其参数含义如下。

appName：可执行的文件名。

commandLine：命令行参数。

rocessAttributes：进程安全属性，如果为None，则为默认的安全属性。

threadAttributes：线程安全属性，如果为None，则为默认的安全属性。

InheritHandles：继承标志。

dwCreationFlags：创建标志。

ewEnvironment：创建进程的环境变量。

currentDirectory：进程的当前目录。

tartupinfo ：创建进程的属性。

以下实例使用win32process.CreateProcess函数运行记事本程序。

>>>import win32process >>>win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) (, , 280, 3076) # 函数返回进程句柄、线程句柄、进程ID，以及线程ID

>>>import win32process >>>win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) (<?XML:NAMESPACE PREFIX = PYHANDLE />, , 280, 3076) # 函数返回进程句柄、线程句柄、进程ID，以及线程ID

有了已创建进程的句柄就可以使用win32process.TerminateProcess函数结束进程，或者使用win32event.WaitForSingleObject等待创建的线程结束。其函数原型分别如下。

TerminateProcess(handle, exitCode) WaitForSingleObject(handle, milliseconds )

对于TerminateProcess参数含义分别如下。

handle：要 *** 作的进程句柄。

exitCode：进程退出代码。

对于WaitForSingleObject参数含义分别如下。

handle：要 *** 作的进程句柄。

milliseconds：等待的时间，如果为?1，则一直等待。

以下实例实现创建进程后并对其进行 *** 作。

>>>import win32process # 打开记事本程序，获得其句柄>>>handle = win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) # 使用TerminateProcess函数终止记事本程序>>>win32process.TerminateProcess(handle[0],0) # 导入win32event模块>>>import win32event # 创建进程获得句柄>>>handle = win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) # 等待进程结束>>>win32event.WaitForSingleObject(handle[0], -1) 0 # 进程结束的返回值

>>>import win32process # 打开记事本程序，获得其句柄

>>>handle = win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) # 使用TerminateProcess函数终止记事本程序

>>>win32process.TerminateProcess(handle[0],0) # 导入win32event模块

>>>import win32event # 创建进程获得句柄

>>>handle = win32process.CreateProcess('c:\\windows\\notepad.exe', '', None , None , 0 ,win32process. CREATE_NO_WINDOW , None , None , win32process.STARTUPINFO()) # 等待进程结束

>>>win32event.WaitForSingleObject(handle[0], -1) 0 # 进程结束的返回值

4 使用ctypes调用kernel32.dll中的函数

使用ctypes模块可以使Python调用位于动态链接库中的函数。在Python 2.5版中已经包含了ctypes模块。如果使用其他版本的Python，可以到http://python.net/crew/theller/ctypes网站下载安装。ctypes适用于Python 2.3版本及以上。

直接调用windows的api函数keybd_event模拟键盘输出就可以了。。。

pywin安装模块：http://sourceforge.net/projects/pywin32/files/

import win32api

win32api.keybd_event(ord('a'),0,0,0)

---