Python中的多进程并行简明教程

一般来说，多进程意味着并行运行两个或者多个任务。在Python中我们可以使用python内置的multiprocessing模块来实现这一功能。

我们来举个栗子：
假设我们需要运送十个快递从A点到B点，一个快递员一次只能运送一个快递花费时间为十秒钟，如果我们程序是顺序运行的，也就是说完成这项任务我们需要让一个快递员运送十次，那么此时完成这项任务的时间为一百秒；但是如果我们采用多进程处理，假设我们开十个线程，也就意味着此时我们可以同时拥有十个快递员来并行工作，这时我们完成这项任务的耗时仅需要十秒钟即可。
多进程VS多线程
一般来说，多进程和多线程都可以实现并行，二者的区别如下：

上图直观的显示了多进程和多线程处理的区别。在第一节的例子中我们使用多线程会比较好，但是如果我们的函数需要更多的处理能力和更多的内存，那么使用多进程是理想的，因为对于使用多进程的程序来说，每个子进程都会有一个专属的 CPU 和内存。
因此，如果我们长时间运行的函数需要更多的处理能力和内存，那么我们更应该使用多进程而不是多线程。 
顺序执行实现
讲了这么多文字，很多童鞋可能还是云里雾里。那么我们来举个栗子，从代码层面进行理解吧。。。
假设我们的搬运逻辑用代码实现如下：
def long_running_function(box_index):
    time.sleep(10)
    print("move box {} from A to B ...".format(box_index))
    return
如果我们使用顺序执行的方式，也就是让一个快递员搬运十次，那么此时的代码逻辑如下：
def test1():
    time1 = time.time()
    for index in range(0, 10):
        long_running_function(index)
    time2 = time.time()
    print("time consume {} s".format(time2-time1))
上述模拟代码的输出如下：
move box 0 from A to B ...
move box 1 from A to B ...
move box 2 from A to B ...
move box 3 from A to B ...
move box 4 from A to B ...
move box 5 from A to B ...
move box 6 from A to B ...
move box 7 from A to B ...
move box 8 from A to B ...
move box 9 from A to B ...
time consume 100.050865650177 s
多进程并行执行
为了实现多进程，我们需要引入multiprocessing包，同时利用Process创建子进程，利用start来启动子进程，利用join函数实现阻塞住主进程等待子进程结束。
上述搬运箱子多进程方式代码实现如下：
import time
import multiprocessing
def test2():
    time1 = time.time()
    _processes = []
    for index in range(0, 10):
        _process = multiprocessing.Process(target=long_running_function, args=(index,))
        _process.start()
        _processes.append(_process)
    for _process in _processes:
        _process.join()
    time2 = time.time()
    print("time consume {} s".format(time2 - time1))
上述模拟代码的输出如下：

move box 0 from A to B ...
move box 8 from A to B ...
move box 7 from A to B ...
move box 3 from A to B ...
move box 2 from A to B ...
move box 9 from A to B ...
move box 5 from A to B ...
move box 1 from A to B ...
move box 6 from A to B ...
move box 4 from A to B ...
time consume 10.547523975372314 s
总结

本文简单介绍了Python中使用multiprocessing来实现多进程并行，并和程序顺序执行做了相应的对比，并给出了相应的代码实现。

以上就是“Python中的多进程并行简明教程”的详细内容，想要了解更多Python教程欢迎持续关注编程学习网。