[Python]並發編程的三種方式

1.多進程(Process)
2.多線程(Thread)
3.多協程(Coroutine)

1.什麼是CPU密集型計算、IO密集型計算?

bound在這邊是限制的意思。


CPU密集型(CPU-bound):
CPU密集型也叫計算密集型,指的是I/O在很短的時間就可以完成,CPU需要大量的計算和處理。特點是CPU占用率極高。
例如:壓縮/解壓縮、加密/解密、正則表達式搜索。

IO密集型(I/O-bound):
指的是系統運作大部分的狀況CPU在等I/O的讀寫。CPU占用率相對的會較低。
例如:文件處理、爬蟲網路、讀寫數據庫。

小總結:

若程式依賴大量的外部連結(內存、硬碟、網路、DB..等等外部連結)就是IO密集型。若其他的只在CPU運算,則是CPU密集型。

2.多進程、多線程、多協程的對比

這三個是有一個級聯關係的。一個進程中可以包含和啟動多個線程,一個線程中可以啟動多個協程。
協程的概念比較新,在任務中可以啟動很多的協程,但本身都在一個線程中進行。

多進程Process(multiprocessing)

  • 優點:可以利用多核CPU並行運算
  • 缺點:占用資源最多,可啟動數目比線程少
  • 適用於:CPU密集型計算

多線程Thread(threading)

  • 優點:相比進程,更輕量級,占用的資源更少。
    這裡的資源指的是每個線程運行都要包含自己的一些變量存儲,存儲到內存區域
  • 缺點:
    相比進程:多線程只能併發執行,不能利用多CPU(GIL-全局解釋器鎖)
    相比協程:啟動數目有限制,佔用內存資源,有線程切換開銷
  • 適用於:IO密集型計算、同時運型的任務數木要求不多

多協程Coroutine(asycio) – 異步io

  • 優點:內存開銷最少,啟動協程數量最多(甚至到幾萬個)。
  • 缺點:支持的庫有限制(aiohttp vs requests)、代碼實現複雜。
    目前有很多技術是不支持協程的,例如requests這個爬蟲常用的類庫,但在python協程中是不支持的,
    所以要用協程來進行爬蟲的話,可以用aiohttp。
    相比進程、線程,代碼實現複雜,且要考慮的點也較多。
  • 適用於:IO密集型計算、需要超多任務運行、但有現成庫支持的場景。

3. 如何根據任務選擇對應的技術?

來源:youtube
蚂蚁学Python【Python并发编程】怎样选择多线程多进程多协程

發佈留言

內容索引