本来有一台设备是要搞成无线的形式的,设备的摄像头的数据可以在一台局域网连接的平板上查看,因为试着使用 RTMP 推流,感觉延时太大了,而 Webrtc 感觉有太麻烦了,所以一开始看到这篇文章使用 UDP 协议进行推流,感觉挺有趣的。
但是因为我们要最后显示在 web 端,但是 web 使用 websocket,所以就使用 websocket 来进行推流了。
大体的架构图如上,带有摄像头的设备起一个 websocket server 的 python 服务,然后一个 html 的页面和这个服务器进行 websocket 连接,然后服务器就不断地推送帧图像的字节流给 web 客户端,在 html 页面就可以看到 websocket 服务器的摄像头的视频了。
- 在带摄像头的设备上启动这段 python 代码,作为 websocket 服务器。
import asyncio
import cv2
import websockets
import numpy as np async def camera_stream(websocket, path): cap = cv2.VideoCapture(0) try: while True: ret, frame = cap.read() if not ret: break buffer = cv2.imencode('.jpg', frame)[1] await websocket.send(buffer.tobytes()) await asyncio.sleep(0.05) finally: cap.release() start_server = websockets.serve(camera_stream, "0.0.0.0", 8080) asyncio.get_event_loop().run_until_complete(start_server)
asyncio.get_event_loop().run_forever()
- 在另外一个设备新建一个 html 文件,并打开
<!DOCTYPE html>
<html lang="en">
<head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>WebSocket Image Receiver</title> <style> #imageContainer { display: flex; flex-direction: column; align-items: center; justify-content: center; height: 100vh; } img { max-width: 100%; max-height: 90vh; } </style>
</head>
<body> <div id="imageContainer"> <img id="imageDisplay" src="#" alt="Received Image"> </div> <script> const socket = new WebSocket('ws://0.0.0.0:8080'); const imageElement = document.getElementById('imageDisplay'); socket.onopen = function(event) { console.log('Connected to the WebSocket server.'); }; socket.onmessage = function(event) { const imgBlob = new Blob([event.data], { type: 'image/jpeg' }); const imgUrl = URL.createObjectURL(imgBlob); imageElement.src = imgUrl; }; socket.onerror = function(error) { console.error('WebSocket Error:', error); }; socket.onclose = function(event) { console.log('Disconnected from the WebSocket server.'); }; </script>
</body>
</html>
如果是在同一台机子上跑的话,就不需要换 ip 地址,不然则需要查询 websocket 服务器的 ip 地址,并进行替换。
- 就可以在浏览器的网页中,看到设备传过来的视频流了。
延时性低,代码也比较简单,当然还有很多可以改进的地方。
参考文章:
- 【Python】基于OpenCV与UDP实现的视频流传输