按照Nvidia官方教程按照部署TensorRT成功後, 在python環境下多進程啟動tensorrt實例時,系統報錯:
解決步驟:
參考TensorRTEngine. init () 中的self.cfx = cuda.Device(0).make_context(), 同時別忘了在實例釋放時detach cuda上下文
參考TensorRTEngine.inference()中的self.cfx.push() 與 self.cfx.pop() 操作
參考文章:
/questions/56371103/how-to-run-tensorrt-in-multiple-threads
/weixin_39739042/article/details/112554503