當前位置:編程學習大全網 - 編程語言 - 為什麽在python裏推薦使用多進程而不是多線程

為什麽在python裏推薦使用多進程而不是多線程

在Python多線程下,每個線程的執行方式:

1、獲取GIL

2、執行代碼直到sleep或者是python虛擬機將其掛起。

3、釋放GIL

可見,某個線程想要執行,必須先拿到GIL,我們可以把GIL看作是“通行證”,並且在壹個python進程中,GIL只有壹個。拿不到通行證的線程,就不允許進入CPU執行。

在Python2.x裏,GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100(ticks可以看作是Python自身的壹個計數器,專門做用於GIL,每次釋放後歸零,這個計數可以通過

sys.setcheckinterval 來調整),進行釋放。

而每次釋放GIL鎖,線程進行鎖競爭、切換線程,會消耗資源。並且由於GIL鎖存在,python裏壹個進程永遠只能同時執行壹個線程(拿到GIL的線程才能執行),這就是為什麽在多核CPU上,python的多線程效率並不高。

那麽是不是python的多線程就完全沒用了呢?

在這裏我們進行分類討論:

1、CPU密集型代碼(各種循環處理、計數等等),在這種情況下,由於計算工作多,ticks計數很快就會達到閾值,然後觸發GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以python下的多線程對CPU密集型代碼並不友好。

2、IO密集型代碼(文件處理、網絡爬蟲等),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執行效率)。所以python的多線程對IO密集型代碼比較友好。

而在python3.x中,GIL不使用ticks計數,改為使用計時器(執行時間達到閾值後,當前線程釋放GIL),這樣對CPU密集型程序更加友好,但依然沒有解決GIL導致的同壹時間只能執行壹個線程的問題,所以效率依然不盡如人意。

請註意:多核多線程比單核多線程更差,原因是單核下多線程,每次釋放GIL,喚醒的那個線程都能獲取到GIL鎖,所以能夠無縫執行,但多核下,CPU0釋放GIL後,其他CPU上的線程都會進行競爭,但GIL可能會馬上又被CPU0拿到,導致其他幾個CPU上被喚醒後的線程會醒著等待到切換時間後又進入待調度狀態,這樣會造成線程顛簸(thrashing),導致效率更低

回到最開始的問題:經常我們會聽到老手說:“python下想要充分利用多核CPU,就用多進程”,原因是什麽呢?

原因是:每個進程有各自獨立的GIL,互不幹擾,這樣就可以真正意義上的並行執行,所以在python中,多進程的執行效率優於多線程(僅僅針對多核CPU而言)。

所以在這裏說結論:多核下,想做並行提升效率,比較通用的方法是使用多進程,能夠有效提高執行效率

  • 上一篇:如何使用的函數文件?mexw32
  • 下一篇:用C語言寫圖書管理系統設計 求各位大哥大姐幫幫忙啊!跪求!!!!
  • copyright 2024編程學習大全網