17. 进程与多进程编程
17. 进程与多进程编程
今天我们要一起来探讨一个非常有趣的话题： 进程与多进程编程 。
在我们开始之前，让我们放轻松，别担心，这个话题并不复杂，但它可以让你的程序变得更加强大！
什么是进程？
首先，让我们来了解一下什么是进程。在计算机中，一个进程可以看作是一个程序的执行实例。一个程序可以同时运行多个进程，每个进程拥有独立的内存空间和系统资源。
比如，你可以同时打开一个浏览器、一个文档编辑器，这些都是不同的进程。
为什么需要多进程？
有了多进程，我们可以同时执行多个任务，这样可以提高程序的效率和利用多核处理器的能力。
举个例子，假如你需要处理大量的数据，如果只有一个进程在工作，可能会非常慢。但如果你使用多个进程，可以同时处理多份数据，大大加快处理速度。
为什么有了多线程还要有多进程？
这是一个很好的问题！虽然多线程和多进程都可以实现并发执行，但它们解决的问题场景有所不同。
多线程适合处理 I/O 密集型任务，比如网络请求、文件读写等，因为在这些操作中，大部分时间都在等待 I/O 操作完成，线程可以在这个等待的过程中去做其他事情，从而提高了程序的效率。
然而，对于 CPU 密集型任务，比如复杂的数学计算，多线程并不能提升效率，因为在 Python 中，由于全局解释器锁 (GIL) 的存在，同一时刻只能有一个线程在执行 Python 字节码。
因此，为了充分利用多核处理器，我们需要使用多进程来同时执行多个 CPU 密集型任务。
使用进程
Python 提供了 multiprocessing 模块来支持多进程编程。下面让我们通过一个例子来学习如何使用多进程：
import multiprocessing
def print_numbers():
for i in range(5):
print(i)
# 创建一个进程
process = multiprocessing.Process(target=print_numbers)
# 启动进程
process.start()
# 等待进程结束
process.join()
print('进程执行完毕')
在这个例子中，我们首先导入了 multiprocessing 模块，然后定义了一个打印数字的函数 print_numbers。接着，我们创建了一个进程，将 print_numbers 函数作为目标，并启动了这个进程。最后，等待进程执行完毕并打印出结束信息。
为什么要有进程同步？
在多进程编程中，有时候会出现多个进程同时访问共享资源的情况，这时候就可能会导致数据错乱。
举个例子，假如你有一个共享的计数变量，同时有两个进程在进行操作，一个在增加计数，一个在减少计数。如果没有进程同步，就有可能出现错误的结果。
# 错误示例
def increase_count():
global count
count += 1
def decrease_count():
global count
count -= 1
count = 0
process1 = multiprocessing.Process(target=increase_count)
process2 = multiprocessing.Process(target=decrease_count)
process1.start()
process2.start()
process1.join()
process2.join()
print(count) # 可能得到的结果并不是 0
使用锁以保证进程安全
为了解决上面的问题，我们可以使用进程同步的技术，Python 提供了 multiprocessing.Lock 来帮助我们实现进程同步。
lock = multiprocessing.Lock()
def increase_count():
global count
lock.acquire() # 获取锁
count += 1
lock.release() # 释放锁
def decrease_count():
global count
lock.acquire() # 获取锁
count -= 1
lock.release() # 释放锁
count = 0
process1 = multiprocessing.Process(target=increase_count)
process2 = multiprocessing.Process(target=decrease_count)
process1.start()
process2.start()
process1.join()
process2.join()
print(count) # 现在得到的结果是 0
使用 Event 实现进程同步
import multiprocessing
import time
def wait_for_event(event):
print('等待事件')
event.wait()
print('事件发生了')
def set_event(event):
time.sleep(2) # 假设在这之前做了一些操作
print('事件设置')
event.set()
if __name__ == '__main__':
event = multiprocessing.Event()
process1 = multiprocessing.Process(target=wait_for_event, args=(event,))
process2 = multiprocessing.Process(target=set_event, args=(event,))
process1.start()
process2.start()
process1.join()
process2.join()
使用 Queue 实现进程通信
import multiprocessing
def producer(queue):
for i in range(5):
print(f'生产者生产了产品{i}')
queue.put(i)
def consumer(queue):
while True:
item = queue.get()
if item is None:
break
print(f'消费者消费了产品{item}')
if __name__ == '__main__':
queue = multiprocessing.Queue()
producer_process = multiprocessing.Process(target=producer, args=(queue,))
consumer_process = multiprocessing.Process(target=consumer, args=(queue,))
producer_process.start()
consumer_process.start()
producer_process.join()
queue.put(None) # 发送结束信号
consumer_process.join()
实战例子：多进程下载图片
让我们通过一个实际的例子来巩固所学吧！假设我们需要从网上下载一批图片，我们可以使用多进程来同时下载，以节省时间。
import multiprocessing
import requests
def download_image(url, filename):
response = requests.get(url)
with open(filename, 'wb') as file:
file.write(response.content)
print(f'{filename} 下载完成')
# 图片链接列表
image_urls = [
'https://example.com/image1.jpg',
'https://example.com/image2.jpg',
'https://example.com/image3.jpg'
]
# 启动多个进程下载图片
processes = []
for i, url in enumerate(image_urls):
process = multiprocessing.Process(target=download_image, args=(url, f'image_{i}.jpg'))
processes.append(process)
process.start()
# 等待所有进程完成
for process in processes:
process.join()
print('所有图片下载完成！')
通过本文，我们学习了如何使用多进程来实现多任务并发执行，以及如何保证进程安全。进程同步是多进程编程中一个非常重要的概念，它可以保证共享资源的正确访问，避免数据错乱。
同时，我们还介绍了如何使用 multiprocessing.Lock 来实现进程同步，以及实际应用中的例子。
希望你现在对进程与多进程编程有了更清晰的理解。继续加油，你已经掌握了一个非常有用的 Python 编程技能！