GPU利用率主要是指GPU在時間片上的利用率，也就是通過nvidia-smi顯示的GPU-util。統計方法是:在采樣周期內，GPU有內核在上面執行的時間百分比。
GPU任務會交替使用CPU和GPU進行計算。當CPU計算成為瓶頸的時候，就會出現GPU等待的問題，空運行的話GPU利用率會很低。那麽優化的方向就是縮短所有CPU計算環節的耗時，減少CPU計算對GPU的阻塞。