- 参考:
- https://www.waveshare.net/wiki/Jetson_TX2_NX#AI.E5.85.A5.E9.97.A8
英伟达2021年发布的的tritionserver 2.17 版本中,backend 有tensorflow1 和 onnxruntime ,他们都是做什么用的,作为backend 对于 triton 推理server意义是什么,是否应该有pytorch?
- Triton Inference Server(以前称为TensorRT Inference Server)是由NVIDIA开发的高性能推理服务软件,它支持多种深度学习模型框架。Triton Server可以帮助用户在各种硬件上部署和运行推理任务,并支持多种模型格式和后端(backend)。在Triton 2.17版本中,支持的后端包括TensorFlow 1和ONNX Runtime。以下是这些后端的用途及其对Triton推理服务器的意义:
TensorFlow 1 Backend
TensorFlow 1是一个广泛使用的深度学习框架,支持构建