Android在后台读取UVC摄像头的帧数据流并推送

Android在后台读取UVC摄像头的帧数据流并推送

  1. 添加UvcCamera依赖库
    使用原版的 saki4510t/UVCCamera 在预览过程中断开可能会闪退，这里使用的是
    jiangdongguo/AndroidUSBCamera 中修改的版本，下载到本地即可。
    https://github.com/jiangdongguo/AndroidUSBCamera

  2. 监听UVC连接回调

    mUSBMonitor = USBMonitor(context, mOnDeviceConnectListener)mUSBMonitor.register()public interface OnDeviceConnectListener {void onAttach(UsbDevice device);void onDetach(UsbDevice device);void onConnect(UsbDevice device, UsbControlBlock ctrlBlock, boolean createNew);void onDisconnect(UsbDevice device, UsbControlBlock ctrlBlock);void onCancel(UsbDevice device);}
  1. 检测到UVC后连接该设备

USB连接上会回调，onAttach, 本地判断连接上的USB设备是否UVC,如果是的话可以尝试调用连接该对象。调用mUSBMonitor.requestPermission(cam)就会请求权限并且连接该对象。连接成功后会回调 onConnect。

    var connectJob: Disposable? = nulloverride fun onAttach(device: UsbDevice?) {BLLog.i(TAG, "onAttach")BLLog.toast("USB_DEVICE_ATTACHED")connectJob?.dispose()connectJob = CommonUtils.runDelayed(1000) {autoConnectUvcDevice()}}private fun autoConnectUvcDevice() {val context = BLSession.getApplicationContext()val filter: List<DeviceFilter> =DeviceFilter.getDeviceFilters(context, R.xml.device_filter_uvc)val devs: List<UsbDevice> = mUSBMonitor?.getDeviceList(filter[0]) ?: listOf()val cam = findUsbCam(devs)BLLog.log2File(TAG, "autoConnect 共有USB数量：${devs.size}, Uvc: ${cam?.productName}")if (cam == null) {BLLog.i(TAG, "未连接USB摄像头")} else {mUSBMonitor.requestPermission(cam)}}

device_filter_uvc.xml

<usb><usb-device class="239" subclass="2" />	<!-- all device of UVC -->
</usb>

如何判断该连接对象是UVC对象,如果名字中包含USBCam或 interfaceClass = USB_CLASS_VIDEO

    private fun findUsbCam(devs: List<UsbDevice>): UsbDevice? {for (dev in devs) {if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {val name = "" + dev.productName + dev.manufacturerNameBLLog.i(TAG, "findUsbCam name:$name")if (name.contains("USBCam")) {return dev}for (i in 0 until dev.interfaceCount) {val inter = dev.getInterface(i)BLLog.i(TAG, "getInterface($i):$inter")if (inter.interfaceClass == UsbConstants.USB_CLASS_VIDEO) {return dev}}}}return null}
  1. 在onConnect中保存UvcCamera对象
            override fun onConnect(device: UsbDevice?,ctrlBlock: USBMonitor.UsbControlBlock?,createNew: Boolean) {BLLog.i(TAG, "onConnect  ${device?.productName}")synchronized(mSync) {try {// 保存最新的Uvc对象val camera = UVCCamera();camera.open(ctrlBlock)BLLog.log2File(TAG,"supportedSize:" + camera.supportedSize + "thread:" + Thread.currentThread().name)if (applyPreviewSize(camera)) {mUVCCamera?.destroy()mUVCCamera = camerapreviewStatus = PreViewStatus.None} else {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")if (mUVCCamera == null) {mUVCCamera = camera}}uvcChangedSub.onNext(true)} catch (e:Exception){BLLog.log2File(TAG, "onConnect Recv exception: $e")}}}
  1. 预览并获取YUC视频帧
    如果需要预览到UI中显示，需要创建SurfaceView或者TextureView.
        mUVCCamera?.setPreviewDisplay(previewSurface)mUVCCamera?.startPreview()

如果不需要预览到UI中显示，可以new一个SurfaceTexture对象传进去即可；必须要调用预览才能获取到YUV数据。

        val surfaceTexture = SurfaceTexture(0)mUVCCamera?.setPreviewTexture(surfaceTexture)BLLog.i(TAG, "startPreviewWithAir")mUVCCamera?.startPreview()

预览后获取YUV帧流：

        val width = mUVCCamera?.previewSize?.width ?: defPreviewSize.widthval height = mUVCCamera?.previewSize?.height ?: defPreviewSize.heightyuvCallback = callbackmUVCCamera?.setFrameCallback({ buffer: ByteBuffer ->
//            BLLog.i(TAG, "onFrame ${width}*${height}")// yuv格式if (acceptFrame()) {val format = MediaFormat.createVideoFormat("", width, height)val data = ByteArray(buffer.remaining())buffer.get(data)val frame = YuvFrameData(format, data, width, height)yuvCallback?.onGetYuvData(frame)}}, UVCCamera.PIXEL_FORMAT_NV21)

获取到的YUV帧可以使用其他推流SDK进行推流即可，比如使用阿里云推流SDK推流。
这完成可以在后台进行推流，不需要UI上展示，节省设备的性能。

  1. 连接类参考：
// Uvc设备连接器
object UvcConnector : BaseBussModel(ModelType.Shared) {private val TAG = UvcConnector::class.java.simpleNameprivate val KEY_UVC_PREVIEW_SIZE = "KEY_UVC_PREVIEW_SIZE"// 默认支持：640*480, 1920*1080private var defPreviewSize = MySize.parseSize("1920*1080")!!enum class PreViewStatus {None,Visible,Air,}private lateinit var mUSBMonitor: USBMonitor@Volatileprivate var mUVCCamera: UVCCamera? = nullprivate val mSync = Object()private var previewStatus = PreViewStatus.None@Volatileprivate var yuvCallback: IMediaKit.OnYuvListener? = null// 状态变更消息private var uvcChangedSub = PublishSubject.create<Boolean>()override fun onStartUp() {super.onStartUp()BLLog.i(TAG, "onStartUp")val context = BLSession.getApplicationContext()mUSBMonitor = USBMonitor(context, mOnDeviceConnectListener)mUSBMonitor.register()CommonUtils.runAsync(::loadPreviewSize)}override fun onShutdown() {BLLog.i(TAG, "onShutdown")mUSBMonitor.unregister()mUSBMonitor.destroy()super.onShutdown()}fun hasUvcDevice(): Boolean {return mUVCCamera != null}fun previewStatus(): PreViewStatus {return previewStatus}fun getSubject() = uvcChangedSubfun getNowSize(): MySize? {return mUVCCamera?.previewSize?.let {MySize(it.width, it.height)}}fun getExpSize(): MySize {return defPreviewSize}fun startPreview(previewSurface: Surface): CallResult {BLLog.i(TAG, "startPreview")if (!hasUvcDevice()) {return CallResult(false, "未连接设备")}if (previewStatus == PreViewStatus.Air) {mUVCCamera?.stopPreview()}if (!applyPreviewSize(mUVCCamera)) {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")return CallResult(false, "UVC不支持此分辨率：$defPreviewSize")}mUVCCamera?.setPreviewDisplay(previewSurface)mUVCCamera?.startPreview()previewStatus = PreViewStatus.Visibleif (yuvCallback != null) {setYuvCallback(yuvCallback!!)}uvcChangedSub.onNext(true)return CallResult(true, "成功")}fun stopPreview() {BLLog.i(TAG, "stopPreview")if (previewStatus != PreViewStatus.Visible) {return}mUVCCamera?.stopPreview()previewStatus = PreViewStatus.None// 需要接收数据if (yuvCallback != null) {startPreviewWithAir()setYuvCallback(yuvCallback!!)}uvcChangedSub.onNext(true)}fun clearYuvCallback() {yuvCallback = nullif (previewStatus == PreViewStatus.Air) {mUVCCamera?.stopPreview()previewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}fun setYuvCallback(callback: IMediaKit.OnYuvListener): Boolean {if (mUVCCamera == null) {return false}if (previewStatus == PreViewStatus.None) {startPreviewWithAir()}val width = mUVCCamera?.previewSize?.width ?: defPreviewSize.widthval height = mUVCCamera?.previewSize?.height ?: defPreviewSize.heightyuvCallback = callbackmUVCCamera?.setFrameCallback({ buffer: ByteBuffer ->
//            BLLog.i(TAG, "onFrame ${width}*${height}")// yuv格式if (acceptFrame()) {val format = MediaFormat.createVideoFormat("", width, height)val data = ByteArray(buffer.remaining())buffer.get(data)val frame = YuvFrameData(format, data, width, height)yuvCallback?.onGetYuvData(frame)}}, UVCCamera.PIXEL_FORMAT_NV21)return true}private fun acceptFrame(): Boolean {return Random.nextInt(30) <= 25}private fun startPreviewWithAir() {if (!applyPreviewSize(mUVCCamera)) {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")return}val surfaceTexture = SurfaceTexture(0)mUVCCamera?.setPreviewTexture(surfaceTexture)BLLog.i(TAG, "startPreviewWithAir")mUVCCamera?.startPreview()previewStatus = PreViewStatus.AiruvcChangedSub.onNext(true)}private fun findUsbCam(devs: List<UsbDevice>): UsbDevice? {for (dev in devs) {if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {val name = "" + dev.productName + dev.manufacturerNameBLLog.i(TAG, "findUsbCam name:$name")if (name.contains("USBCam")) {return dev}for (i in 0 until dev.interfaceCount) {val inter = dev.getInterface(i)BLLog.i(TAG, "getInterface($i):$inter")if (inter.interfaceClass == UsbConstants.USB_CLASS_VIDEO) {return dev}}}}return null}private fun autoConnectUvcDevice() {val context = BLSession.getApplicationContext()val filter: List<DeviceFilter> =DeviceFilter.getDeviceFilters(context, R.xml.device_filter_uvc)val devs: List<UsbDevice> = mUSBMonitor?.getDeviceList(filter[0]) ?: listOf()val cam = findUsbCam(devs)BLLog.log2File(TAG, "autoConnect 共有USB数量：${devs.size}, Uvc: ${cam?.productName}")if (cam == null) {BLLog.i(TAG, "未连接USB摄像头")} else {mUSBMonitor.requestPermission(cam)}}private fun applyPreviewSize(camera: UVCCamera?):Boolean {if (camera == null){return false}try {camera.setPreviewSize(defPreviewSize.width,defPreviewSize.height,UVCCamera.FRAME_FORMAT_MJPEG)} catch (e: IllegalArgumentException) {BLLog.log2File(TAG, "setPreviewSize1 $defPreviewSize: $e")try {// fallback to YUV modecamera.setPreviewSize(defPreviewSize.width,defPreviewSize.height,UVCCamera.DEFAULT_PREVIEW_MODE)} catch (e1: IllegalArgumentException) {BLLog.log2File(TAG, "setPreviewSize2 $defPreviewSize: $e1")return false}}return true}private val mOnDeviceConnectListener: USBMonitor.OnDeviceConnectListener =object : USBMonitor.OnDeviceConnectListener {var connectJob: Disposable? = nulloverride fun onAttach(device: UsbDevice?) {BLLog.i(TAG, "onAttach")BLLog.toast("USB_DEVICE_ATTACHED")connectJob?.dispose()connectJob = CommonUtils.runDelayed(1000) {autoConnectUvcDevice()}}override fun onDetach(device: UsbDevice?) {BLLog.i(TAG, "onDetach")BLLog.toast("USB_DEVICE_DETACHED")synchronized(mSync) {if (mUVCCamera != null) {mUVCCamera?.destroy()mUVCCamera = nullpreviewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}}override fun onConnect(device: UsbDevice?,ctrlBlock: USBMonitor.UsbControlBlock?,createNew: Boolean) {BLLog.i(TAG, "onConnect  ${device?.productName}")synchronized(mSync) {try {// 保存最新的Uvc对象val camera = UVCCamera();camera.open(ctrlBlock)BLLog.log2File(TAG,"supportedSize:" + camera.supportedSize + "thread:" + Thread.currentThread().name)if (applyPreviewSize(camera)) {mUVCCamera?.destroy()mUVCCamera = camerapreviewStatus = PreViewStatus.None} else {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")if (mUVCCamera == null) {mUVCCamera = camera}}uvcChangedSub.onNext(true)} catch (e:Exception){BLLog.log2File(TAG, "onConnect Recv exception: $e")}}}override fun onDisconnect(device: UsbDevice?, ctrlBlock: USBMonitor.UsbControlBlock?) {BLLog.i(TAG, "onDisconnect ${device?.productName}")synchronized(mSync) {mUVCCamera?.destroy()mUVCCamera = nullpreviewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}override fun onCancel(device: UsbDevice?) {BLLog.i(TAG, "onCancel")}}fun setPreviewSize(size: MySize) {defPreviewSize = sizeSharedPreferenceHelper.saveCustom(KEY_UVC_PREVIEW_SIZE, size.toString())}private fun loadPreviewSize() {val str = SharedPreferenceHelper.loadCustom(KEY_UVC_PREVIEW_SIZE, "")defPreviewSize = MySize.parseSize(str) ?: defPreviewSize}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/711861.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Rust学习笔记：基础工具和基本名词

Rust学习笔记：基础工具和基本名词

不要用共享内存来通信&#xff0c;要用通信来共享内存 rustup: 一个用于管理 Rust 版本和相关工具的命令行工具 rustup update cargo: Rust 的构建系统和包管理工具 构建代码下载依赖库并构建下载库 crate: 代码包/库 trait: 特性、功能 ///: 生成 html 格式的 doc&#…
阅读更多...
CELL文献速递 | 了解微生物如何在社会中传播并塑造我们的健康

CELL文献速递 | 了解微生物如何在社会中传播并塑造我们的健康

谷禾健康 当人还是婴儿时&#xff0c;会从父母那里得到微生物&#xff1b;和宠物玩耍或接触时&#xff0c;也会从宠物那得到微生物&#xff1b;有时候人没有直接和动物玩耍&#xff0c;只是接触动物的粪便&#xff0c;甚至其他环境的微生物&#xff0c;都会交换微生物... 这些其…
阅读更多...
智慧治水丨计讯物联水利RTU助推小型水库出险加固工程建设与管理

智慧治水丨计讯物联水利RTU助推小型水库出险加固工程建设与管理

日前&#xff0c;水利部印发《关于健全小型水库除险加固和运行管护机制的意见》&#xff08;以下简称《意见》&#xff09;&#xff0c;健全小型水库除险加固和运行管护常态化机制&#xff0c;提高小型水库安全管理水平。《意见》提出了“十四五”的两大管理机制&#xff0c;通…
阅读更多...
adb下载安装及使用教程

adb下载安装及使用教程

adb下载安装及使用教程 一、ADB的介绍1.ADB是什么&#xff1f;2.内容简介3.ADB常用命令1. ADB查看设备2. ADB安装软件3. ADB卸载软件4. ADB登录设备shell5. ADB从电脑上发送文件到设备6. ADB从设备上下载文件到电脑7. ADB显示帮助信息 4.为什么要用ADB 二、ADB的下载1.Windows版…
阅读更多...
Flutter GetX 之 暗黑模式

Flutter GetX 之 暗黑模式

我们紧接上篇文章，今天继续讲解一下强大的 GetX 的另一个功能，就是 暗黑模式 ，在iOS 13开始苹果的应用慢慢的都开始适配 暗黑模式，andr。oid 也慢慢的 开始跟进，截止到目前，商店的大部分应用都已经完成了 暗黑模式 的适配。 原生开发为我们提供对应的 API，那么Flutter呢…
阅读更多...
机器学习相关概念及术语总结

机器学习相关概念及术语总结

目录 1.机器学习2.监督学习3.无监督学习4.线性回归5.逻辑回归 1.机器学习 机器学习的定义&#xff1a;一个计算机程序可从经验E&#xff08;Experience&#xff09;中学习如何完成任务T&#xff08;Task&#xff09;&#xff0c;并且随着经验E的增加&#xff0c;性能指标P&…
阅读更多...
Python中reduce函数和lambda表达式的学习

Python中reduce函数和lambda表达式的学习

reduce函数将一个数据集合&#xff08;链表&#xff0c;元组等&#xff09;中的所有数据进行下列操作&#xff1a;用传给 reduce 中的函数 function&#xff08;有两个参数&#xff09;先对集合中的第 1、2 个元素进行操作&#xff0c;得到的结果再与第三个数据用 function 函数…
阅读更多...
【论文精读】DINOv2

【论文精读】DINOv2

摘要 学习与特定任务无关的预训练表示已经成为自然语言处理的标准&#xff0c;这些表示不进行微调&#xff0c;即可在下游任务上明显优于特定任务模型的性能。其主要得益于使用无监督语言建模目标对大量原始文本进行预训练。 遵循NLP中的这种范式转变&#xff0c;以探索计算机视…
阅读更多...
iSlide插件2024免费版（包含52 个PPT设计辅助功能，9 大在线资源库，以及超 50 万 专业）

iSlide插件2024免费版（包含52 个PPT设计辅助功能，9 大在线资源库，以及超 50 万 专业）

一、功能介绍 iSlide是一款专为PowerPoint设计的插件&#xff0c;它集合了众多设计与效率提升的功能&#xff0c;帮助用户更快速、更美观地制作演示文稿。 主题设计&#xff1a;提供多种设计主题&#xff0c;用户只需一键应用&#xff0c;即可为幻灯片赋予统一的视觉风格。智…
阅读更多...
每次提出一个bug都让测试重现，描述得那么清楚，自己操作下不会吗？

每次提出一个bug都让测试重现，描述得那么清楚，自己操作下不会吗？

一说到测试和开发的关系&#xff0c;你一定会想到一个词“冤家”。 开发的工作就是按照PM的设计将产品最终造出来&#xff0c;而测试则是在开发已完成的工作里纠错。so&#xff0c;测试的工作会让开发很不爽&#xff0c;人之常情&#xff0c;谁都不喜欢自己的劳动成果被别人挑…
阅读更多...
react路由基础

react路由基础

1.目录 A. 能够说出React路由的作用 B. 能够掌握react-router-dom的基本使用 C. 能够使用编程式导航跳转路由 D. 能够知道React路由的匹配模式 2.目录 A. React路由介绍 B. 路由的基本使用 C. 路由的执行过程 D. 编程式导航 E. 默认路由 F. 匹配模式 3.react路由介绍 现代…
阅读更多...
开源项目：图像分类技术在医疗影像分析中的应用与实践

开源项目：图像分类技术在医疗影像分析中的应用与实践

一、引言 在当今快速发展的医疗行业中&#xff0c;数字医疗正逐渐成为提升医疗服务质量和效率的关键力量。本项目旨在通过整合医药电商、远程问诊、慢病管理等多维度服务&#xff0c;为消费者和企业提供全面的医疗解决方案。项目的核心在于运用先进的图像分类技术&#xff0c;以…
阅读更多...
回归测试：在不断变化的环境中确保软件的稳定性

回归测试：在不断变化的环境中确保软件的稳定性

软件开发是一个复杂的过程&#xff0c;需要不断变化和更新以满足客户不断变化的需求&#xff0c;但它们也可能产生新问题或导致旧问题重新出现。这就是回归测试的用武之地——它是在不断变化的环境中确保软件稳定性的重要组成部分。 在这篇文章中&#xff0c;我们将深入探讨什…
阅读更多...
第40期 | GPTSecurity周报

第40期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区&#xff0c;集成了生成预训练Transformer&#xff08;GPT&#xff09;、人工智能生成内容&#xff08;AIGC&#xff09;以及大语言模型&#xff08;LLM&#xff09;等安全领域应用的知识。在这里&#xff0c;您可以找…
阅读更多...
基于springboot + vue实现的前后端分离-在线旅游网站系统（项目 + 论文）

基于springboot + vue实现的前后端分离-在线旅游网站系统（项目 + 论文）

项目介绍 本旅游网站系统采用的数据库是MYSQL &#xff0c;使用 JSP 技术开发&#xff0c;在设计过程中&#xff0c;充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。 技术选型 后端: SpringBoot Mybatis 数据库 : MyS…
阅读更多...
Qt 使用windows注册表保存设置

Qt 使用windows注册表保存设置

重点&#xff1a; 1.在构造函数中初始化&#xff0c;确认注册表中的一个目录 QApplication::setOrganizationName("WWB-Qt");QApplication::setApplicationName("samp7_5"); 只要使用下面语句定义变量setting QSettings setting 表示setting指向注册表目…
阅读更多...
UE5 文字游戏（1） 仅UI截图转换为texture2d（适用于window端）

UE5 文字游戏（1） 仅UI截图转换为texture2d（适用于window端）

目录 需求 思路 1.截图并读取到本地 2.本地读取图片并转换为纹理2d 效果展示 找了好多的解决办法&#xff0c;都不管用。这个算是折中的。 需求 将当前的用户控件&#xff08;ui&#xff09;截图下来&#xff0c;并赋值到一个texture2d上。 我的需求&#xff1a;文字游戏…
阅读更多...
初学JavaWeb开发总结

初学JavaWeb开发总结

0 什么是Web开发 Web: 全球广域网&#xff0c;又称万维网(www World Wide Web)&#xff0c;能够通过浏览器访问的网站。 Web开发&#xff0c;就是开发网站的&#xff0c;如&#xff1a;淘宝、京东等等。 1 网站的工作流程 流程&#xff1a; 浏览器先向前端服务器请求前端资…
阅读更多...
Cesium 自定义Primitive-线

Cesium 自定义Primitive-线

一、创作思路 1、创建一个自定义CustomPrimitive 2、可动态更新线的点位 3、方便后期绘制线 二、实现代码 1、创建一个CustomPolylinePrimitive类,并加入更新的代码 export default class CustomPolylinePrimitive {constructor(options) {this._props options;/*** 渲染列表…
阅读更多...
EchoServer回显服务器封装与测试

EchoServer回显服务器封装与测试

目录 类实现 编译测试 这一篇本质上是为了TcpServer而做的一层封装,让外界调用更加简洁 参考上文 TcpServer服务器管理模块(模块十)-CSDN博客 类实现 echo.hpp #include "../server.hpp"class EchoServer { private:TcpServer _server;private:void OnConnect…
阅读更多...
最新文章

Copyright @ 2022~2023