背景：使用openvino_2023，yolov5训练模型，导出的onnx文件，使用异步推理

在 OpenVINO 中，异步推理需要与特定设备进行交互，而在切换设备时可能会导致问题。为了避免在切换设备后出现错误，您可以尝试将推理过程改为同步模式，即不使用异步推理接口，如下所示：

// 异步推理
infer_request.start_async();
infer_request.wait();

// 修改为同步推理
// infer_request.infer();

PS：使用CPU加载速度更快，使用GPU推理速度更快（核显）

• 同步推理：程序完成一张图片的从图像采集到处理输出之后，再去获取下一个输入图片，再次从图像采集到处理输出。该模式适合单张图片推理，如自动驾驶领域，要求低时延。
• 异步推理：程序进行到第一张图片的推理过程时，直接开始采集第二张图片，执行预处理；等到第一张图片处理结果时，第二张图片开始推理，并开始采集第三张图片。该模型可以减少等待时间，提高AI硬件的资源利用率，适合视频流推理，要求高吞吐量。