目录
- 简介
- deepstream 来源于 GStreamer
- GStreamer关于RTP相关代码
简介
在当今快速发展的人工智能和计算机视觉领域,英伟达的DeepStream框架提供了强大的工具和功能,帮助开发者快速部署和优化实时视频分析应用。本博客将重点介绍基于英伟达DeepStream框架进行算法开发的方法和技巧,包括如何利用DeepStream框架构建高效的算法模型、实现实时视频流处理和应用优化等内容。通过本博客的学习,读者将能够掌握在DeepStream框架下进行算法开发的关键技能,为自己的视频分析项目提供更加稳定和高效的解决方案。
deepstream 来源于 GStreamer
GStreamer中摄像头测试用命令:
gst-launch-1.0 videotestsrc ! video/x-raw,width=1280 ! fakesink
查看各组件属性的工具:
gst-inspect-1.0 videotestsrc
表现为python版本的代码:
import gi
from gi.repository import GObject,Gst
from common.bus_call import bus_call
source=gst.elementFactory.make("videotestsrc","src")
sink=gst.elementFactory.make("autovideosink","sink")
在pipeline中新增部件
pipeline.add(source)
pipeline.add(sink)
链接已有的部件:
source.link(sink)
运行部分:
from gi.repository import GLib,Gst
获取一个主循环
loop=GLib.MainLoop
获取一个总线
bus=pipeline.get_bus()
bus.add_signal_watch()
#主循环中接收总线消息
bus.connect("message",bus_call,loop)
#设置pipeline的状态,启用pipeline
pipeline.set_state(Gst.State.PLAYING)try:loop.run()
except:pass
pipeline.set_state(Gst.State.Null)
三种不同的GStreamer元素:
source element 源
sink element 结尾
filter-like element 过滤器式,即有源,又有下一级
GStreamer关于RTP相关代码
RTP 是一种用于在网络上传输实时数据的协议,通常用于音频和视频的传输。
rtpjpegpay 是 GStreamer 中的一个元素,用于将 JPEG 图像数据打包成 RTP 数据包,以便在网络上传输。在实时通信和视频流传输应用中,可以使用 rtpjpegpay 对 JPEG 图像进行封装,并结合其他 RTP 相关的元素,如 rtpbin 和 udpsink,实现 JPEG 图像数据的流式传输和接收。这样可以确保 JPEG 图像数据在网络中以实时和高效的方式传输,适用于视频会议、监控系统等需要实时传输图像数据的场景。
jetson nano 服务端:
IP:192.168.2.9
rtpjpegpay:将jpeg编码成rtp包向udp进行发送。
gst-launch-1.0 videotestsrc is-live=true ! jpegenc ! rtpjpegpay ! udpsink host=192.168.2.7 port=5004
host是客户端的地址
t
在客户端的接收显示为:
gst-launch-1.0 udpsrc port=5004 ! application/x-rtp,encoding-name=JPEG ! rtpjpegdepay ! jpegdec ! autovideosinkunable to create xxx:注意使用 rm -rf ~/.cache/gstreamer-1.0/
这段代码实际上是在使用 GStreamer 在 Jetson Nano 服务端和客户端之间搭建一个简单的实时视频传输流程,其中服务端将摄像头生成的视频流编码成 JPEG 格式后,利用 RTP 协议将其封装成 RTP 包通过 UDP 发送到指定的客户端地址和端口。
具体来说:
在 Jetson Nano 服务端上,通过 gst-launch-1.0 命令行工具启动 GStreamer 管道,使用 videotestsrc 生成测试视频流,经过 jpegenc 编码为 JPEG 格式,然后通过 rtpjpegpay 将 JPEG 数据打包成 RTP 数据包,最后通过 udpsink 发送到指定的客户端地址(192.168.2.7)和端口(5004)。
在客户端上,使用 gst-launch-1.0 同样通过 GStreamer 创建一个管道,通过 udpsrc 接收来自服务端发送的 RTP 数据包,application/x-rtp,encoding-name=JPEG 表示接收 JPEG 编码的 RTP 数据包,在经过 rtpjpegdepay 解包后,通过 jpegdec 解码为视频帧,最后通过 autovideosink 进行显示。